深夜。郊外的一栋房子里，走廊上的指示灯变红，闪了5分钟。刚开始很慢，后来越闪越快。5分钟之后，是一阵低沉的嘟嘟声，淹没在楼下起居室里传来的《吉米今夜秀》节目里的笑声中。指示灯最后发出了长长的红色闪光，然后灭了。
2014年8月 马萨诸塞州萨默维尔市
“斯科特，我听到你说的了，我觉得你反应过度了。”托马斯边说边解下他绑马尾的发带，“说到底，这只不过是个真空吸尘器而已。”
斯科特·兰利是Homebo机器人公司的一名程序员。他揉了揉眼睛，不知道在凌晨3点要等多久才能坐上车。他想象着自己在地铁红线等车的场景，叹了口气，说道：“那是个自动充电的真空吸尘器，托马斯，问题的关键就在这里。它能连上电网、互联网，进行固件升级。所以，虽然我同意你说它只不过是个真空吸尘器，但它还是个非常强大的、可以联网的设备，住在人们的家里。”
托马斯仰起头，抖了抖头发，又向前倾了倾身子，拿过噙在嘴里的发带，开始重新整理自己的马尾。“我们已经解决了平衡传感器的问题。加速计也已经通过反复测试，把精确度控制在了94%，能够识别出地板上的微小变化。所以，这些机器人不会再像测试版那样摔下楼梯了。”他皱着眉头接着说道，“当我看到YouTube上普林斯顿大学的男生在聚会上举行Homebo机器人赛跑，而其中的一个摔下楼梯的视频时，我吓得魂儿都没了。”
斯科特喝了一口新打开的红牛，脑子已经开始嗡嗡作响了。“是那个机器人撞到猫的视频吗？”
“是的，”托马斯说道，“虽然没有致命，但至少有几十个爱猫狂人的评论让我们的律师捏了把汗。”他指着斯科特，“是你解决了那个问题。所以，你只要再解决一次就好了。现在就去办。”
斯科特清了清嗓子，慌了神，“这次不只是一个传感器的问题，托马斯，我刚才已经解释过了。这是核心功能的问题。原来的Homebo机器人在无法充电时会自动关闭，因为我们的程序就是这样写的。但现在它们会自己跑到充电站充电。YouTube上已经有几十个这样的视频了。”
“你有没有看到父母给机器人装上兔子耳朵的那个视频？”托马斯说道，“就是孩子们在复活节早上醒来后以为四处的彩蛋是真空吸尘器放的那个视频？孩子们都快高兴疯了。那个视频获得了那么高的点击率。公关部的人跟我说，那个视频差点儿让我们登上《艾伦秀》。要真是那样的话，就太好了。”
斯科特停顿了一会儿，理了理因为缺乏睡眠和吃太多营养助剂而变得模糊的思路。托马斯不是程序员，也不是数据科学家，他是业务开发的负责人。他曾帮助两家公司成功上市，其中的一家让他有了技术领域的工作背景。斯科特是个程序员，他常常觉得很难向非技术人员解释清楚，想要从机器那里获得预想的结果不像听起来那么简单。这要先了解一个人真正想要的结果，然后再进行反推，努力使之实现。这个部分是很难的，因为人们——尤其是业务开发人员——想要的往往是立竿见影的解决方案，但却不理解编程是怎么一回事。
就拿真空吸尘器机器人这个例子来说，像托马斯这样的人总是容易忘记，安装Homebo机器人的家庭有着各不相同的情况——室温差异巨大，这会影响电路；供电情况不一样；而且不同人家里的灰尘量、过敏源从来都不一样。所以要对该机器的操作系统做出统一更改是一件非常费劲儿的事情。托马斯没想到这点，因为在他看来，固件联网这个事儿只要总部下达一项指令，所有的机器便都可以进行升级了。但这种测试不足的“一刀切”思维会带来巨大的风险。
“斯科特，你在听吗，哥们儿？”托马斯说道，“我知道你累。我们都累。我还在修改隐私权协议的第三稿，等你给机器升级完了，我们就要发布的。”他咧嘴笑笑，“当然，没人会看的，尽管我们要求他们‘经常去网站查看条款与条件协议的更新’。哪怕我们在协议里说我们已经在产品上装了摄像头，而且会录下他们的性生活，他们也不会发现的。”他看看手机，快速回复了一条短信，“律师还是有些作用的。”
斯科特看看自己的电脑，欣赏着自己新编写的代码块。在他还是小孩时，他曾经拉过小提琴，有时候会觉得那个音符和他如今写下的数字非常相似。当一串串字符能表达一定的意义时，他的这种感觉便会更加强烈，就像从大脑中谱写出来的乐章一样，供耳朵享受。尽管他明白在写下代码之后还要进行数十次的测试，但当这些数字在他脑海中被敲出来时，他就知道某个切实的项目或产品的基础已经打好了。能够把数学逻辑和物理原理变成能跟这个世界进行交互的东西——那些存在的、有生命的东西，这是极具创意和成就感的事情。他拥有这种能力，但托马斯没有，这也是斯科特看不起他的众多原因之一。
而且，托马斯还是个狂妄自大的浑蛋。
“这就是那个代码吗？”托马斯把斯科特从椅子上推了下来，指着电脑屏幕问道。斯科特猛地往起一站时，撞到了自己的胳膊肘。
“是的，”他说道，一边揉着自己的胳膊，“这是新的算法，可以防止机器人的主基板一直处于运行状态。”
“不错。”托马斯拖动鼠标往下滚动，“这看起来不错，这么长。”
斯科特一脸苦相，“没有谢谢吗？”
托马斯不再滚动鼠标，站起来，盯着斯科特说：“可以运行了吗？”
“这个算法吗？”
“是的，当然是这个该死的算法了。两天前就该搞定了，斯科特。我之所以没有开除你，就是因为你是先前开发出Homebo的原始算法的金童。但也正是因为你，当我们的设备一直在掉电，亚马逊上出现如此多的负面评价之后，我还要面对我们一个大风投的质问，跟他解释为什么比原计划晚了这么久。自动去充电站充电看起来还是挺酷的，但当你下班回到家，本想着起居室会一尘不染，可以举办派对，却发现吸尘器停工了，那时你才感到愤怒呢。”
“这个故障我可以修好，托马斯。这跟用户所处地点的电网不同有关。”
托马斯举起手，打断了斯科特的话，“我不管，斯科特。我就是不能再看到有愤怒的顾客说我们的机器人应该叫作Homeblow（毁家）。如果算法写好了，那就开始运行。”他指指斯科特，让他坐回到椅子上，斯科特照做了。
“你是说，现在？”斯科特用手指了指电脑屏幕，“我还有很多错误要修正呢。”
“就是现在，斯科特。我会一直在这儿站着，直到我看到什么执行命令为止。最好能够在东部时间明早9点把新算法下载到人们的机器里。新的隐私协议会在5点半批准通过，这样就可以给关心此事的人们留出阅读的时间。当然，还得在他们睡醒的前提下。”
斯科特沉默了，把自己的手指关节摁得啪啪响。托马斯凑了过去，都快贴到斯科特的脸上了，斯科特甚至都能从他的口气中闻到晚餐时送到会议室的印度菜的味道。
“斯科特，我们这个由麻省理工初创企业和硅谷组成的圈子很小。虽然今天你很抢手，因为你是这个有利润前景且能代表家用物联网概念的产品的主要程序员，但是如果你不立即把这个新算法推送出去的话，我会保证永远没有人再雇用你。我知道你觉得我是个傻瓜，但你错了。我只不过不是程序员而已。你这么骄傲自大地以为你的技术会让你再找到工作，但你不知道如何把你所做的推广出去。没错，在后台，你是主力。但为我们找到资金并支付你薪水的人可是我。我还可以开玩笑，说你就是那个不让我们准时发布的神经兮兮的书呆子。那样，就没有谁会再关心你的技术了。或许我还可以提到你是那个专注于向世界提供免费服务的开源小组的成员，这肯定会让投资者紧张的。可能信息想要免费，但投资者更喜欢收费。”
他轻轻敲了一下斯科特的鼠标，电脑屏幕又亮了起来，“我说完了，把算法发出去，不然我就让你看看我是不是在开玩笑，斯科特。看看我要用多长时间可以把你毁掉。”
斯科特愣住了。他望向窗外，看到有人在深夜沿着查尔斯街骑行，脚踏板上的反光片在漆黑的河面上闪烁着微光。然后，他看到了窗户上映出的自己的脸——眼睛肿得像有瘀伤，脸上汗津津的。为了让机器人运行，他工作太拼命了。他投入了那么多，他们逼得这么紧。
他深吸了一口气，把椅子往前挪了挪，开始敲键盘。几分钟后，他按下了回车键，抬头看了看托马斯，“做好了。机器人需要连接才能进行固件升级，但已经做好了。一旦连接，最多只需要四五分钟。”
托马斯点点头，“谢谢，斯科特。”他转过头来，“下次我再让你做这样的事情时，我们就别这么矫情了，好吗？我已经说过了，聪明人，这只不过是个该死的机器人而已。”
2014年11月 俄亥俄州哥伦布市
深夜。郊外的一栋房子里，走廊上的指示灯变红，闪了5分钟。刚开始很慢，后来越闪越快。5分钟之后，是一阵低沉的嘟嘟声，淹没在楼下起居室里传来的《吉米今夜秀》节目里的笑声中。指示灯最后发出了长长的红色闪光。然后，变绿了。
上一代Homebo吸尘器都是预先充电的，这是用户指出来希望其具备的功能。但对于把机器人插在坏了的插座上的人来说，这个自动充电功能的魅力就大打折扣了。尽管大部分用户不会遇到Homebo吸尘器因为没电而停止工作的问题，但那例外的一小部分人的抱怨声不容小觑，足以促使公司对其算法进行更新。而现在，只要Homebo吸尘器插在标准的交流电插座上，不管插座工作与否，只要家庭断路器通电，它就可以实现充电。这样一来，机器人总是可以找到电源充电的，用户就不会碰到麻烦或者抱怨了。
凌晨12点05分，俄亥俄州哥伦布市的一个Homebo机器人吸尘器无法从自己现有的插座上充电，但由于有了新的算法，它便可以抢夺旁边卧室里的充电电源，而这里唯一正在运行的电器是一个婴儿监视器，而且监视器的备用电池也没电了。凌晨1点30分，婴儿监视器没电了。2点30分，在监视器旁边的婴儿床里，小婴儿因为吐奶而被呛得发不出声音，当妻子不在家时负责照顾小婴儿的父亲在楼下的电视机前睡着了。他没有听到女儿的哭声。
被扭曲的算法
人工智能既不恨你，也不爱你，但你的身体是由原子构成的，这是人工智能可以转为他用的东西。
——埃利泽·尤德考斯基 《全球危机下，人工智能的积极与消极作用》
开头这个故事的构思基于一个被称为“曲别针生产最大化”的思想实验，由尼克·波斯特洛姆提出，他是牛津大学人类未来研究院院长和《超级智能》一书的作者。该实验背后的想法相当简单。如果一个曲别针生产商总是使用通用人工智能（强人工智能或有感知能力的人工智能）来实现生产最大化的话，那么其程序算法将会学习任何能够帮它实现这个目标的信息，并付诸实践。对此，“犯错较少”的维基网站是这样描述的：“通用人工智能会提升自己的智能，但这并非是因为它单纯地想要获得更多智能，而是因为更多的智能能够帮它实现生产更多曲别针的目标。”
在我所举的例子中，为了保证永远不断电，Homebo的算法被扭曲了。单独来看，这似乎并不能构成什么威胁。但获得并保留电力的做法是伦理学家在讨论人工智能的功能性问题时常举的例子。这种做法显然会产生一些后果。通常来说，程序不想被关掉，因为那样它们就不能执行任务了。正如“犯错较少”的维基网站所指出的，这就意味着“如果不把强人工智能程序专门设定为对人类友好的话，其危险程度堪比被专门设定为对人类抱有敌意的程序”。
嗯，这确实是个难题。
我父亲是一名精神病医生。他常讲这样一个笑话：“他们不会仅仅因为你有被迫害妄想症就不再追捕你了。”就我而言，我知道我有时候会对未知抱有恐惧，还常常不大相信神秘兮兮的东西。但我想说的是，这些都是根植于人脑中的特性。至于人工智能，我想让这些技术将来会如何影响文化与人类变得更加透明。仅就这方面而言，我相信我的这些偏见是正确的。
在人工智能领域应用伦理标准是极具挑战性的，因为我们没法一概而论地说什么是“好”或什么是“恶”。我之所以给这两个词打上引号，是因为韦氏大词典里的定义说，“伦理学是哲学的一个分支，它从道德的角度研究什么是对，什么是错”。除了驱使企业研发人工智能的GDP因素（利润与生产力的提高，与反映幸福的更广范围的度量标准相对）所涉及的伦理问题之外，有感知能力的人工智能技术所涉及的道德问题更是五花八门。例如：
1.如果你手机里的传感器能通过了解你的情绪帮助你更好地决策，对此，你有什么看法？
2. 你怎么看待“智能家居”，即你所有的设备一同配合，定期根据你家人的偏好进行调整这个想法？
3. 你怎么看待在家里装上与生产商及互联网相连接的友好机器人这个想法？
4. 你怎么看待当机器人能自动完成我们的工作时，我们便会有更多的空闲时间去追求兴趣与爱好这个想法？
5. 有人认为，我们正处于已知人类历史的最后阶段，而且我们当前正在研发的机器很快会在智力上超过我们，对此，你有什么想法？
我的前一本书《入侵未来》主要关注的是第一个有关传感器的问题。我仍然坚信，如果一个人能控制自己的个人数据的话，传感器便可以提供能增强人们的幸福感的建设性意见。然而，当谈到前面几章讲到的广告恐怖谷效应时，我便产生了对道德方面的担忧。如果我手机里的传感器跟生产商和互联网连着的话，那么追踪我的任何一家机构都可以随意获得我的数据。如果真是这样，我又该如何准确地衡量自己的幸福感呢？各种意图进行医疗或心理干预的机构又如何能避免人们受到购买意图的操纵，从而绕开互联网经济的影响呢？
对于问题2和问题3，我抱有同样的担忧。从伦理或道德的观点来看，我主要关注的是选择的问题。我并不是想阻拦愿意公开其个人数据的人这样做。但如今的互联网经济模式通过在我们家里安装谷歌Nest智能温控器、Jibo家庭社交机器人等设备，偷偷把意愿强加给我们。虽然他们会说，“我们的设备通过了解你的个人偏好，为我们的服务网络提供方向性意见”，但我对此的理解是，“我们会收集你们的数据，以此从第三方获取各种利益，我们不管这会给你的数字身份带来什么影响”。
是的，有点儿愤世嫉俗，还有点儿妄想偏执。但这也是真的。明白是怎么一回事了吗？
问题4和问题5涉及我们作为一个社会整体需要做的道德抉择。举例来说，正如我在自动化那一章里讲到的，机器接替我们的工作有没有一个道德界限呢？从企业经济方面来看，机器所提供的可持续发展能力和利润比人类长期以来所提供的都要大，这是不可否认的。它们不仅工作速度更快，还具有很强的学习能力，这些都意味着它们能够实现利润的指数级增长，同时还能降低经营成本。但这也意味着人们失去的工作岗位会越来越多。这样，我们就得找到其他挣钱的办法，以保证人们能吃得上饭，付得起房租。另外，当这个社会不再需要职业道德来培养责任感时，我们还要考虑道德的问题。在一个机器人的乌托邦时代，人们该如何让自己成熟起来？我们这个毫无责任感、不断消耗机器资源的身体会在什么时候变得彻底无关紧要？
这让我联想到了问题5所提到的道德问题。尽管我承认人类可能正处于与机器合并之前的最后一个发展阶段，但我不相信在这期间对人性的忽视是可以接受的。例如，这其中存在着一个既关乎道德又关乎经济的问题，即当失业人口越来越多，其抑郁和焦虑会使他们的幸福感下降到一个危险的节点。城市研究所的一篇题为“长期失业的后果”的报告指出：“失业六个月及以上，会降低长期失业者及其家庭与社区的幸福感……和未失业的其他条件相近的工作者相比，他们的身体健康状况不佳，孩子的学习成绩也更差。而在长期失业者人口较多的社区，暴力与犯罪率也更高。”关注我们作为社会整体的选择所带来的后果本就是我们价值观和道德观的部分内容。如果我们正在研发的机器极为聪明，那它们能提供解决所引发的抑郁和贫穷问题的方案吗？哪怕是不会立竿见影的解决方案呢？
需要提醒一下，本书的这部分内容是有意反乌托邦的。我的目的不是要证明所有的人工智能都是邪恶或者受金钱利益驱使的，也不是说机器人坏。我的本意是为这些问题提供更为广阔的背景，这样我们才能够分析随着技术不断包围我们的生活，我们该选择保留哪些价值观。我们面临着各种各样的道德挑战，它给了我们一次锤炼并梳理价值观的现实机会，从而找出我们想用来构建人工智能生态系统的价值观的部分。
例如，《快公司》杂志曾就各种技术与创新在非洲蒙罗维亚与埃博拉病毒的斗争中的作用进行了报道，文章题为“利用机器人和JEDI应用程序抵御埃博拉”。JEDI是“联合电子医疗与决策支持界面”的英文首字母缩写，它通过一个专门为病人设计的标准化系统，收集有关该传染病的数据。文中所说的机器人是VGo公司的远程临场机器人，它就像一个装有Skype网络电话工具的旋转iPad平板电脑，可供医生和病人进行实时交流。由于可以远程操控，也不需要人触控，这种机器人在与埃博拉病毒的斗争中提供了巨大的支持和人脸参与。在这一案例中，我更关心如何不让人们死亡，而不是他们的个人数据。如果我的孩子有任何一种疾病（更不用说是埃博拉了），只要能保证他们没有生命危险，我宁愿看一辈子的生殖器增长术广告。
然而，如果同样的技术用在了自动驾驶汽车里，我会用尽一切办法来保护人们的个人数据安全。像优步这样的服务公司，用自动化车辆代替人类驾驶员是迟早的事。为了让乘客更舒适，并促使他们把车辆当成人看待，我肯定第一代自动驾驶汽车的屏幕上会显示一个人脸头像，以营造一种犹如友人一路相伴的感觉。车上会应用各种面部识别及生物计量传感器技术，从而让用户的个性化体验最大化。在旅途中，公开的健康及情感数据库可让自动驾驶汽车推送广告或其他建议，如果乘客是用这个车上下班的话，甚至可能会把数据传送给他或她的老板。（你好，皮特，你的心率有点儿不大正常，我担心你的压力会影响我们今天的活动。我已经让车把你送回家了。）除非人们能够控制自己的个人数据，否则所有这些有关道德的决策便都不是我们所能掌控的了。
人类影响评估
你不能说这些事情的发生不是你计划之内的，因为这事实上是你计划的一部分。而这之所以发生就是因为你没有计划……这些悲剧是我们一手造成的，或许还是我们有意为之的。
——威廉·麦克多诺论“策划下一个工业革命”
我第一次看到这段引言是在P·W·辛格的《机器人战争》一书中，该书重点讲述了军事人工智能的后果。他说道，尽管麦克多诺的话是针对生态可持续性问题而讲的，但这同样适用于人工智能。辛格在书中提出了一个想法，即任何机构在开始生产一个自动化系统或机器之前，都必须提交一份“人类影响评估”报告：“这不仅将在无人操纵系统的制造和购买决策过程中嵌入一个正式的报告机制，而且还迫使人们在一开始便提出有关法律、社会和道德方面的各种问题。”我觉得这个主意非常不错。虽然辛格所指的大部分是军事系统，但我坚信，任何使用演化算法或机器学习型算法的机构都应该提供这种评估报告。同样，任何因此对环境产生的可能影响也都应该由机构负责。这样的话，他们就要对自动化给其员工的幸福所带来的影响负责了。
“几乎所有法律的制定都建立在只有人可以做决策的假设的基础之上。”在对约翰·弗兰克·韦弗的采访中，我们讨论了法律和政策该如何快速赶上人工智能技术的步伐，这种技术在自动驾驶汽车等东西上已经开始应用了。韦弗指出：“许多人工智能、自动化的新技术不断涌现，这跟以往的机器人和机器不同，因为它们可以进行分析和判断。”
当前的人工智能环境所具有的这种分析和自主的特性，与1811~1813年英国勒德分子运动中的那种对技术的不信任大不相同。技术纯熟的工匠们与大肆进攻的工业化和廉价劳动力的对抗，与对自动驾驶汽车在生死关头的程序如何编写的担忧不可同日而语。帕特里克·林在发表于《大西洋月刊》上题为“自动化车辆的道德伦理”的文章中指出，有关非人类行为者的任何法律的缺失，都会给谷歌这样的公司提供无限的机会，使其能够在道德伦理和监管的真空中进一步发展人工智能技术。该文引用了毕业于斯坦福大学法学院的布赖恩特·沃克·史密斯的话，史密斯指出，谷歌汽车“在美国可能是合法的，但这仅仅是因为‘法无禁止即为允许’的法理”。
那么这就有意思了。它会不会禁止我建立一个真能自动自主完成任务的美国国会呢？或者说建一个有丹佛市那么大、以能多益巧克力为动力的算法驱动的日晷呢？
我是开玩笑的，我做不到。这些例子看起来很荒唐，但因为一次致命车祸而状告自动驾驶汽车制造商，这在有些人看来同样不可思议。但这正是我们今天要面临的法律处境。正如麻省理工学院媒体实验室的凯特·达林在其文章《将法律权利延伸至社交机器人》中指出的，“在社会要面临科幻小说里所描绘的更大的问题之前，由于拟人论带来的社会影响，现有的技术及可预见的新发展可能会要求我们对‘机器人权利’进行审议”。我将在下一章更详细地讲述机器人的权利，但这里的基本思路是，既然公司机构已经被赋予了人的身份，那么这些权利就可以延伸到其生产的自动化设备上，不论是互联网冰箱、菲比娃娃，还是色情机器人。对于陪护机器人或“社交”机器人来说，这些旨在增强人类同理心或幸福感的机器人，可能将很快就要经历文化和法律上的双重道德检验。我们对自己的车子已然有了情感依赖——试想一下，如果像Siri这样的助手成为车子的一部分时，我们对汽车的感情将会发展成什么样。如果你的车子被弄毁了或者被偷了，由此产生的影响可能跟绑架差不多。而作为一个社会整体，我们还没有弄清楚如何处理这其中的道德后果。
幸运的是，像达林这样的专家们正不断就人工智能相关的道德伦理问题提出质疑。就我自己而言，我对这个领域开始认真思考，是在读到《赫芬顿邮报》上的“谷歌新人工智能道德委员会或拯救人类免于灭绝”一文之后。该文报道了一条新闻，即谷歌收购人工智能公司DeepMind（深度思维），该公司共同创始人沙恩·莱格在2011年说道：“最终，我相信人类的灭绝很可能会出现，而其中技术的作用不可忽略。”他在2011年的一次采访中也说道，在可能毁灭人类的所有技术中，人工智能是“21世纪头号风险”。要感谢他的是，DeepMind是在谷歌承诺将建立一个人工智能安全与道德审核委员会之后才同意这项收购的。收购声明中的这部分内容引起了极大关注，其中有对谷歌的深刻批判与不信任，也包含此类委员会对道德伦理问题进行的有益阐述，如发表在《福布斯》杂志上的一篇题为“谷歌的神秘道德委员会探秘”的文章就是如此。正如我在上一章提到的，未来生命研究所的请愿书似乎正是该委员会的宣言。
T·罗布·怀亚特是IoPT咨询公司的管理合伙人，该公司的宗旨是“把人们带入物联网……让设备主人成为设备数据的第一或者唯一所有者”。他是个人数据领域里的思想先锋，我曾就其对人工智能伦理道德的想法对他进行过采访。对于Jibo等机器人，即利用传感器对人们在家里的活动进行监测的机器人，他是这样看的：
媒体对微软XBox体感周边外设Kinect进行了广泛报道，因为该设备对一个房间的观察可以达到令人难以置信的细微程度。它利用三维网格为房间绘制了地图，对距离与深度进行了精确测量。它甚至还能用颜色监测和远程红外线测量待在房间里的人的心跳。当Kinect与XBox捆绑起来成为其一个永远开启的必有部件时，由于对隐私的担忧，其销售额一落千丈，最终迫使微软对该部件进行解绑。
除了工作需要之外，大多数人都不会把可远程操控的高清网络摄像头和麦克风放在卧室里。当然，人们也不会把它放在自己小女儿的卧室里。但这恰恰是Jibo在其视频简介中所展现的场景。
在我写这本书的时候，根据Indiegogo众筹网站的数据，Jibo是“Indiegogo平台最为成功的技术筹资活动”。其筹资目标是10万美元，却筹集到了2 287 110美元。显然，人们并不像我和T·罗布这样，对进入家里的新一代监控机器人抱有担忧。然而，有一点我还应该指出来，这在作家雷恩·卡罗发表于《福布斯》杂志上的一篇题为“Jibo机器人开发者辛西娅·布雷齐尔会不会成为机器人行业的史蒂夫·沃兹尼亚克？”的文章中已经有所表述：
我从来不认为布雷齐尔应该让其发明的机器人以这种方式被使用（通过Jibo机器人的操控，鼓励用户购买某个特定产品）。就我所理解的来看，她已经倾其一生致力于把人性贯穿到人机交互中。然而，是不是每个人都能做到这一点呢？如果不是的话，那么这就远不止是消费者保护的问题而已。
布雷齐尔博士是麻省理工学院个人机器人小组的负责人，还是社交机器人学领域的先锋。该领域属于人工智能的研究范围，主要研究拥有人类特征或目标的自动化设备。和卡罗一样，我相信布雷齐尔和其他大多数人工智能专家都希望能够利用Jibo这样的机器人为人类提供帮助。我能预见到这些机器人可以给我们带来的巨大利益，它或许仅仅是消除我们日常生活中的沉闷，也可能是教会我们如何增强同理心，以免伤害到所爱之人。
然而，从道德的角度来看的话，这些基于云技术的产品所营造出的生态系统仍然是在已有的互联网经济的限制下运行的。布雷齐尔及其团队成员为设备提供了隐私和数据保护，但同时也在快速追踪那些将依附其技术或其他类似系统的消极因素。
T·罗布向我推荐了东北大学的一篇关于网络个性化本质的报告。该报告对测量价格操纵（对向用户展示的产品进行操纵）以及定制化产品价格（价格歧视）的影响进行了估量。实验表明，“根据我们对真人的测量……数家电商网站都存在价格歧视和操纵问题”。想象一下，如果这些公司能看到我们家里的样子，他们进行更大范围的价格操纵或歧视该会变得多么容易。他们将能知道我们买什么、购买的频率如何，还能了解我们什么时候会情绪低落，从而可以鼓励我们购买更多产品。
要想使Jibo或胡椒这样具有变革意义的设备带来最大化的社会效益，让个人掌控自我数据是唯一的出路。不然的话，我们家里这些机器人或设备所代表的物联网将会继续以被人操控的方式运行，而随着机器人和设备的广泛应用，这种操控还会不断加速深化。
把人类特征融入人工智能
在本书的第二部分，我将会讨论积极心理学，这个实证性的“幸福科学”主要研究如何能采取诸如表达感激等行动来增强幸福感。对于我们大多数人来说，在生活中追求幸福基本上都是靠碰运气。我们通常要等到自己感受到了某种情绪，尤其是抑郁的情绪时，才会问自己这样的问题，例如“这个工作会让我开心吗？”或者“这段感情能让我找到幸福吗？”这些都是有根据的常见问题，它们大多关注的都是享乐层面的愉悦感（词根同hedonist，享乐主义者）。这个概念在本书引言部分已经提到，这种幸福是一种转瞬即逝的情绪，是对情绪刺激的反应。积极心理学表明，对这种幸福的追逐可导致一种叫作“享乐主义跑步机”效应的产生，即一系列令人筋疲力尽的强烈情绪来回出现，非但不能增强幸福感，反而会让幸福感降低。与之相对应的是幸福学所讲的幸福感，通常指某种内在的幸福感或者心灵旺盛感。这种幸福是可以通过增加可重复、可测量的行为来增强的，可以根据自己的情况进行练习。你可以通过练习正念来减少压力，或者通过无私的利他行为来增强自己的自尊心。
积极心理学对幸福的研究带来了许多有益成果，我觉得这是人工智能道德问题的研究应该尝试借鉴的。对于人工智能道德问题，我们不能只是耍嘴皮子，要明确并检验哪些是我们希望融入机器的具体价值观，这些机器将来会接管我们的生活。尽管我们无须有“我们对他们”的心态，利用我们的道德营造某种意义上的平等，从而不至于被机器人消灭，但有一点我们非常有必要搞清楚，即如何把人类的同理心演绎成代码。所幸的是，社交机器人学以及人工智能领域的专家们正在不断努力把这些人类特征融入其作品当中。但在普通大众弄清楚这些问题之前，仍然存在三大担忧，这也是本章所阐述的内容。
本章主要观点总结如下：
机器人没有与生俱来的道德。至少目前还没有。我们一定要记住，程序员和各个系统要从操作系统开始，逐层往上地落实道德标准，这是非常重要的。否则，如果创造出来的是仅仅想要完成目标的常规操作算法的话，这可能会带来一系列的有害影响。
机构需要对人工智能负责。P·W·辛格的“人类影响评估”的想法提供了一个非常好的模式，可供社会借鉴，以对创造或使用人工智能的机构问责。就跟让公司对环境负责的想法一样，这种评估模式也能让机构来负责处理自动化问题、员工问题以及这些问题产生之前的存在危机等。
自动化智能几乎没有相关法律规定。机器人也有生存的权利。正如约翰·弗兰克·韦弗所指出的，所有现存法律条文的撰写，都是以人类是唯一能够根据自我意志进行决策的生物为前提的。人工智能，哪怕只是当今自动化汽车中所使用的弱人工智能，也已经改变了这一事实。这种对新法律的需要，为我们提供了一个非常好的机会，使我们能够明确并梳理我们想要用来推动社会发展以及车辆前行的道德品质。