【万古杂志】程序的奴隶

zhixun

如果我们愿意，电脑可以替我们做出一些艰难的抉择。那么，还有人类自己进行取舍的余地吗？

译者：SCWalter原文作者：Steven Poole
发布：2013-05-19 13:54:18

“1997年，在加里·卡斯帕罗夫与IBM的超级计算机深蓝第二次对决失利后，人们预言，电脑最终会令国际象棋失去乐趣。”杰弗里·西尔维斯特供图
今年春天，在伦敦市中心一家木质剧场里，八位世界最伟大的棋手在一个灯光黯淡的舞台上进行着表演。数百名观众满怀敬意安静地看着。这是国际象棋棋王挑战赛14轮比赛的收盘一搏，最终结果将决定谁有机会在今年年底挑战现任棋王维斯瓦纳坦·阿南德。
每天进行一轮比赛：一场比赛可能会持续七八个小时。有时，双方棋手会共同俯身棋盘之上，胳膊肘支在桌子上，叉开的手指托着脑袋，好像是要帮着对抗脑袋里面巨大的压力。有时，一位棋手会向前栖身，而他的对手则好似一位无聊的上班族，躺在特制的皮椅上，眼神放空。接着，对手会走出自己的一步棋，停掉自己的计时器。他站起来，四处走一走，像一位专家一样瞟一眼其他人的比赛。然后，他大步走到舞台前，给自己加一些咖啡。在一座高高的台子上，坐着白发苍苍的裁判，显得高深莫测，那是本次比赛的正式主持。在他的身后是一个巨大的屏幕，上面显示出四场比赛目前的棋位。这场极其繁复而又激烈胶着的比赛，以及这幕棋手们演绎的寂静而又紧张的大戏，就像这样进行着。
1997年，在加里·卡斯帕罗夫与IBM的超级计算机深蓝第二次对决失利后，人们预言，无论是作为竞技性比赛，还是作为观赏性运动，电脑最终会令国际象棋失去乐趣。国际象棋可能是十分复杂的，但从数学上说，它依然是有限的。从原理上看，只要电脑接受了正确的规则，就可以完美地计算出理想的象棋变式，而人类则会犯错误。今天，任何人都可以用一台笔记本电脑来运行商业象棋软件。在这个星球上，除了几百个人以外，这种软件无疑可以战胜其他所有人。弱小的人类玩着频频失误的国象游戏，这是否只是一种怀旧复古的景象？
这种轻蔑的态度与时代的精神是一致。在我们这个时代，程序算法的精密超越了有缺陷的人工判断。从网络搜索到市场营销和股票交易，甚至包括教育和治安在内，计算机根据复杂决策规则处理数据的能力从各个角度保证我们的生活变得更加美好。自动零售商会告诉你接下来要读哪本书；约会网站会计算出您完美的生活伴侣；自动驾驶汽车会减少事故的发生；程序会预测和预防犯罪。只要我们减少人类大脑混乱的干扰，我们都可以为自己作出更好的抉择。我们现有的程序神器就这样汹涌地推广开来。
如果我们让汽车自动驾驶，我们放弃的不仅是我们对于汽车的控制，还包括我们的道德判断。
但是，至少在国际象棋中，程序算法还没有替代人类的判断。10万名在线观众观看了不完美的人类棋手在最后一轮国际象棋棋王挑战赛的角逐，多亏了那不同寻常的决胜局规则，22岁的挪威棋手马格努斯·卡尔森领先前世界冠军弗拉基米尔·克拉姆尼克获得冠军。事实上，直播主持、健谈而又风度翩翩国际级大师劳伦斯·特伦特直截了当地拒绝了使用计算机（他称之为“野兽”）辅助自己进行分析和预测。他解释说，这么做的目的是让自己动脑思考。有一次休息时间，我正好在解说室，特伦特吃着薯片，还在和奈杰尔·肖特（他本人曾在1993年世界锦标赛对战过卡斯帕罗夫）热烈讨论棋局变数，优雅风趣的肖特和特伦特一起解说比赛。“他会走Qf4，这不难看出来，”肖特在说服特伦特。“Ng8过后是......”，“然后就赢了。”，“比赛结束！”
国际象棋是智力的奥林匹克对决。跟其他任何运动一样，它的乐趣在于看着极具天赋的人发挥出自己的极限。确实有一种电子版的比赛，叫做“高级国际象棋”，人们在比赛时可以使用电脑。但是比赛看起来极其无聊，就像是在比赛谁的电子表格软件用的更好，而且没有被人赶超。这种“野兽”可以成为一个有用的帮手——维塞林·托帕洛夫曾是世界冠军阿南德的一位挑战者，他用一只有10000个CPU的怪物帮他比赛，但他还是输了——这种“野兽”永远不会成为主导。
这个故事告诉我们，面对更为广阔的人类文化，程序辅助下的工具还有得可学。撇开理想纯粹的国际象棋世界不谈，在那些有着实实在在社会和政治影响的地方，当我们把自己的决定权交给自动程序时，结果可能的确会有些麻烦。
乍一看来，这似乎是一个纯粹的未来福音——让汽车自主行驶，谷歌目前正在开发这一设想。电脑化的汽车已经在内华达州，佛罗里达州和加利福尼亚州合法化，它们可以开得更快，靠得更紧密，在保证安全的同时减少交通堵塞。它们会在办公室把你放下，然后自己停靠好。我们有什么理由不喜欢呢？首先，叶夫根尼·莫罗佐夫曾对计算机辅助下的“解决主义”提出过尖锐的批评，就像他指出的那样，城市规划的结果对某些人来说并不可取。“随着更多人开始驾车，自动驾驶汽车带给我们的是不是低劣的公共交通？”他在新书《拯救一切，点击此处》（2013年）中提出了这一问题。
最近，纽约大学的心理学教授加里·马库斯在《纽约客》上提出了一个生动的思想实验。假设你坐在自动驾驶车中通过一座窄桥，一辆满载小孩的失控校车朝你猛冲过来。桥上没有地方允许两辆车错车而过。自动驾驶汽车能否做出决定驶下窄桥，以你的死挽救孩子的生命？
马库斯的这个例子说明了一个事实：开车不单单是技术操作。对于技术操作，机器可以比人做得更好。但是，开车还包括道德抉择。（他的例子实际上是一种“电车难题”，这类问题近来是道德哲学领域中的热门话题。）如果我们让汽车自动驾驶，我们放弃的不仅是我们对于汽车的控制，还包括我们的道德判断。
同时莫罗佐夫提到，加州一家名为Impermium的公司为上万家网站提供了一款软件，该软件可以自动标记网络上的言论，它“不仅可以标出垃圾邮件和恶意链接的网上评论，还可以标出各种有害内容——比如暴力、种族主义、公然的亵渎和仇恨的言论”。Impermium的程序如何决定究竟什么应该算作“仇恨言论”或者淫秽？没有人知道，因为人们完全可以理解，公司是不会泄露它的秘密的。但是同样地，这样一套自动预审系统不只是在进行言辞分析，它还在进行道德判断。
如果自动驾驶汽车和言论监管系统要替我们进行艰难地道德抉择，我们就绝对有权利去搞清楚这些系统是如何编程抉择的。我们不可能满足于简单地相信谷歌或者其他任何公司不会把邪恶的想法编入他们的程序中。正因如此，莫罗佐夫和其他思想家才说我们需要建立一类“程序监督员”——他们是公众信赖的代表，可以审查代码，看看其中埋藏了哪些绝对的政治和道德判断，并把他们的发现报告给我们。这个想法不错，不过它带来一些实际问题。如果公司对这种半官方的审核公开他们的程序，他们又怎能保护那些计算秘方带来的商业优势？
如果我们说可以接受，我们等于把自己的祝福放在了比思想犯罪更加模糊不清的东西上。那就叫“无意识大脑状态的犯罪”。
另一个问题是，肯定有一些程序必须要严格保密才能正常工作。例如，恶意的操作员已经可以“玩弄”谷歌的自动完成结果——当你输入一个人的名字时，他们可以把辱骂或诽谤的描述发送到谷歌建议的顶部——受到这种恶性影响的人们已经起诉谷歌，迫使公司深入到系统内部，手动更改这些情况。谷歌的页面排序算法到底如何计算网页的权威性；推特的“趋势”算法怎样决定主题的流行度，如果这些程序被公之于众，那么肆无忌惮的个体推销员或是一心报仇的前男友也将很快为了各自的目的玩弄这些程序。绝大多数用户会吃亏，因为系统会变得不再可靠。
恶人玩弄程序系统并不一定是令人感到不安的必要因素。对于我们智能手机的地理位置、网络浏览行为和社交媒体数据历史的自动分析变得越来越复杂，所以我们对于人群类别的细致划分也可以越来越精确。从这些信息中，我们可以推断出一个人从未明确公开过的生活细节（如性取向或使用违禁药物的情况），有时可以找出特定的个体。即使这种信息只是用来更精确地推送广告，其后果也可能令人不爽。去年，记者查尔斯·杜希格在纽约时报的一篇文章中提到了一件生动的趣闻，叫做“公司是怎么知道你的秘密的”。十年前，美国零售商Target把婴儿用品促销券发给了明尼阿波利斯的一位十几岁的女孩。她的父亲是很生气，跑去店里抱怨。经理也同样吃了一惊，道了歉；几天后，他打电话给那一家再次道歉。这一次，道歉的是那位父亲：他的女儿真的怀孕了，Target的“预测分析”系统比他知道得还早。
如果这种自动占卜仅限于搞清楚我们可能会想买什么产品，那么可以认为它相对无害。但是，它不会止步于此。在不久的将来的某一天——也许这种事情已经发生了——一位无辜的犯罪小说家为了自己最新塑造的连环杀手研究血腥的技术，结果发现持枪男子在半夜敲他的门，因为他留下的数据痕迹让一些预警程序亮出了红灯。也许几个苦恼的作家是我们为了防止更多的谋杀而愿意付出的代价。但是，预测性犯罪防治领域会迅速变成一种反乌托邦的科幻世界，就像电影“少数派报告”（2002年）那样。
在巴尔的摩和费城，软件已经被用于预测哪些囚犯被释放会再犯罪。这种软件基于犯罪数据库，根据地理位置、先前的犯罪类型和上一次犯罪的年龄等变量进行计算。根据《连线》杂志今年1月的一份报告，之所以这么做，“该软件旨在取代假释官根据假释犯的犯罪记录做出的判断。”这种道德判断关乎一个人的自由，将这种道德判断放手给软件理所当然会让一些人感到不舒服。首先，我们还不知道这套系统是否是比人类更准确。其次，即使系统的判断更加准确，但只要它不是完全正确，就不可避免地会产生误报——导致不会再犯罪的人持续被监禁。毫无疑问，在现有的人工判定系统下，这样的误报也会发生，但至少从我们可能认为可以让做决定的人负上责任。你怎么能让一个程序负责？
最近还有很多科幻报道，声称脑部扫描可能能够预测累犯倾向。美国非营利组织“心智研究网络”对这项研究进行了报道，根据他们的报道，前扣带活跃度低的囚犯与同一区域脑活跃度高的囚犯相比，再次犯罪的可能性高一倍。当然，高一倍的说法不是确切的。但是为了讨论起来方便，想象一下，大脑的特定状态与将来累犯与否之间最终可以建立100%的联系。那么，是否可以接受在这种算法的基础上剥夺他人的自由？如果我们说可以接受，我们等于把自己的祝福（译者：可理解为对于假释犯的祝福）放在了比思想犯罪更加模糊不清的东西上。那就叫“无意识大脑状态的犯罪”。在另一种背景下，这类程序驱动的诊断可以得到积极应用：根据北卡罗莱纳州杜克大学最近的一项研究，神经遗传学实验室的研究人员认为，精神病患者可能带有一种神经标记，可以被用来设计更好的治疗方法。但是，依靠这种程序来预测累犯就等于接受可以单凭犯人的生理状况就把他们关起来。
如果我们把程序确立为我们的最终法官和裁判，我们面临的困难不仅来自于执法，还来源于文化。对于后者，潜在的意外后果不会像剥夺无辜者的自由那么严重，但它仍有可能令人抱憾。如果程序系统变得普及起来，他们有可能最终毁灭自己赖以为生的基础（译者：参见下文实例分析）。
在亚马逊的早期，公司雇用了一批图书评论家，他们的工作就是把书籍推荐给顾客。当亚马逊开发自己的推荐算法引擎——一种基于其他人购书历史的自动系统——的时候，销量狂涨。因此，亚马逊解雇了人类评论家。没有什么人会愿意为几个失业的文学评论家擦眼泪，但还是有必要探讨一下两种推荐是否有什么不同，一种推荐方式可以增加销量，另一种推荐方式从其他角度看来要更优越——它可以拓展读者的眼界，比如给他们介绍一些他们无论如何从未尝试过的东西。不用说，从亚马逊的角度来看，“好”的定义是“推动更多的销售”，但我们可能不会全盘赞同。
现在，推荐算法引擎不仅用于书籍、电影和音乐，也用在了网络文章上。网上的文章实在太多，即使是最优秀的人类“管理员”也不可能一览无余。所以给机器人一个机会又有什么错呢？维克托·迈尔·舍恩伯格是牛津大学网络管理方面的教授；肯尼斯·库克耶是《经济学人》的数据编辑。在他们的著作《大数据时代》（2013年，也称程序监督员）中，他们歌颂了一家加州公司Prismatic，根据他们的描述，这家公司“根据文本分析、用户喜好、社交媒体相关的热度和大数据分析把网上的内容整合排序”。作者称，通过这种方式，这家公司能够“告诉世界应该注意什么。在这方面，他们胜过《纽约时报》的编辑“。我们可能会乐于接受这一结论，只要我们认同一个隐含的判断，那就是任何时刻网上最流行的东西就是最值得一读的。枚举文（译者：以列举条目为主题的文章，比如：“十大……”、“前50……”等标题的文章）爱好者，技术理论家之间的争执，以及像猫一样随意无常的浏览模式或许都不能全权代表全球读者。【译者注：译者能力有限，这句话翻译得不太好。但根据译者理解，此处作者想表达的意思是“全球读者的阅读习惯不尽相同，没有任何一种规则可以囊括所有喜好。”因此推荐算法中隐含的判断准则并不能满足人类的需要。】
所谓的“整合网站”——比如“赫芬顿邮报”这样从其他媒体节选文章的网站——同样运用某些程序，再加上人工判断来决定向读者推送什么东西。“这些数据，”迈尔·舍恩伯格和库克耶满怀赞赏地解释道，“与经验丰富的记者的本能相比，可以更好地揭示出人们想要读些什么。”当然，如果你相信一个记者的工作只是给予公众他们认为他们想要读到的东西，那么那些数据确实做得比记者好。卡斯·桑斯坦是一位政治理论家和哈佛大学法学教授，包括他在内的一些人一直在担心网络的“回音室”的现象，也就是说人们只去阅读可以增强他们现有观点的东西。改进后的算法似乎注定要放大这种效应。
一些整合网站也因为转述原文过多和掩盖源链接而受到批评，这两种做法使得读者很难在源网站读到全文。还有更多对于信息源的远程遥控来自于Summly（自动新闻摘要）这样的公司对新闻的打包。Summly是一位英国少年尼克·D·阿洛伊西奥创作的iPhone应用，它使用另一家公司授权的程序来制作新闻摘要，以供手机阅读。雅虎最近以3千万美元买下了Summly。然而，从源头上说，发布新闻的公司往往依靠浏览量来出售广告，用以资助他们发布“内容”（译者：所以Summly在削弱新闻源点击量的同时等于是掐死了用于制作新闻摘要的内容，也就是前文所说的“毁灭自己赖以为生的基础”）。所以，在日常生活中使用程序辅助的整合网站或者摘要可能会导致内容创作在未来无处立足。在《拯救一切，点击此处》一书中，叶夫根尼·莫罗佐夫用能源使用作了一个很有意思的比喻：
我们的获取信息的习惯跟我们使用能源的习惯没有什么大的不同：你花费了大量的时间，从各种新闻整合网站和内容农场获取所有信息，而这些地方只是把别人创作出来的昂贵内容重新包装了一下。你的做法可能会扼杀掉新闻产业，就好像你把电器放在待机模式可能会在不知不觉中无谓地牺牲了别人的碳补偿（译者：就是浪费了别人为减少碳排放做出的努力）。
同时在教育领域，“大规模在线公开课”（或网络公开课）也称MOOC有希望（或者说是威胁）以在线视频课程取代传统大学。硅谷围绕这些网络公开课的热情被新发布的自动判作文软件点燃了。电脑选择题测试已经存在很长一段时间了，但是散文随笔真的可以用程序来评判吗？目前，美国已经有3500多名学者签名了一项网上请愿提出反对，他们指出：
计算机不能“读”。他们无法衡量有效书面沟通的要领：准确性、推理过程、证据的充分性、良好的意识、道德立场、有说服力的论据、有意义的篇章结构、清晰度、和真实性等等。
如果说这些教育工作者感受到威胁，那一点儿也不奇怪，因为软件号称可以完成他们工作中的重要一部分。所有网络公开课宣传的首要主题就是期望可以用更少的人（教授）教更多的人（学生）。宣传中没有提到的是：“教”真的是名副其实的“教学”吗？
有一天，程序化心理治疗应用的作者可能会被起诉，起诉他的就是那些收到了最糟糕的建议但幸存下来的人。
如果你因为自动化的高等教育、报纸的灭亡和全球变暖而感到沮丧，你可能想要跟其他人聊一聊——这里也有一个程序可以做到这件事。新一波有着古怪名字的智能手机应用（iStress，myinstantCOACH，MoodKit，BreakkUp）让你可以把心理医生放到口袋里。到目前为止，这些应用还不是很聪明，而且需要用户来完成大部分工作——虽然这第二点不足许多人类心理顾问也有。这些应用可以追溯到“人工智能”领域一个传奇的里程碑，那就是20世纪60年代计算机程序ELIZA。那套系统的特色之一就是有一个可以模拟罗杰斯心理治疗的模式，它可以响应用户输入的对话，可以要求你进一步解释（“你为什么这么说？”）。它可以运用自己的“自然语言处理”技巧，从输入内容中挑出关键词。尽管很简陋，ELIZA似乎还算是一个诡异的人类。现代智能手机中ELIZA的后代可能会供人们消遣，但这一领域也暴露出一个有趣的挑战，那就是程序越复杂，越有可能造成伤害。有一天，程序化心理治疗应用的作者可能会被起诉，起诉他的就是那些收到了最糟糕的建议但幸存下来的人。
在我们急于把一切事情都自动化的时候，能否想一想还落下了什么？也许在过去半个世纪以来，这是一个从认知科学和心理学领域流传到大众文化中的一个想法——我们的大脑是并不完美的电脑。如果是这样，显然用真正的电脑取代它们除了好处别无其他。然而，即使说程序的工作是一个相对纯粹的数字运动——快速处理信息，事情也可能会错得惊人。
事实上，反对盲目崇拜程序的运动已经开始——至少对某些领域来说是这样。对于这些领域，异常程序的影响不是什么循序渐进、难以测知的社会和文化破坏，程序异常会立刻触及强大金融机构的底线。在高频率的交易过程中，自动化的计算机系统买卖股份异常迅速，这可能会导致一支股票的价格产生大幅波动。人们发现，这种系统导致了2010年的“闪电崩盘”，道琼斯指数在几分钟内下跌了9个百分点。去年，纽约证券交易所取消了6支股票的交易。因为“骑士资本”公司的一种流氓“算法”——这种自动系统在业界众所周知，这6支股票的价格波动表现得很诡异。欧洲、香港和澳大利亚的监管当局正在出台规定，要求这类交易算法接受定期测试；在印度，除非国家证券交易所可以先检查算法并决定是否喜欢程序所做的工作，否则任何程序都不能使用。
所以，这里提到的这些就是第一批“程序监督员”。也许他们的例子会刺激其他领域——文化、教育和打击犯罪——也进行类似的开发。这些领域更是相当难以进行量化，特别是没有直接的现金危险。
一种非正式的事后程序监督已经在伦敦国际象棋棋王挑战赛上出现。所有棋手在赛后都会召开新闻发布会，分析关键棋位，展示他们的思路。这件事本身往往成了第二赛场：棋手们不愿承认他们错过了什么（“当然，我看到了那一步”），还争先恐后地显示他们比对手算得更深入。有一天我参加了新闻发布会，和蔼的亲英派俄罗斯棋手（同时也是板球迷）彼得·斯维德勒正在讨论他与去年世锦赛冠军鲍里斯·盖尔芬德的那场精彩但却打平的比赛。斯维德勒用鼠标在笔记本电脑的屏幕上摆弄着，他摆出了一条别人用电脑程序算出来的复杂线路。“显然，这是一场平局，”斯维德勒说，“但绝对没人能在棋盘上算出这一点。”换句话说，计算机的建议与作为体育项目的这场棋赛完全无关。
这是，疲惫的盖尔芬德正带着友好的兴趣看着。斯维德勒跳到了前面一个可能的变式，他曾经在比赛中考虑过要走这个变式，这个变式最后会走入一个困境，可能会带来精彩的胜利，也可能是惨败。“对于我来说，”他郑重地说，“这要么是太搞笑了......要么是不够好笑。”大家都笑了。到目前为止，还没有关于喜剧的算法程序。
史蒂芬·普尔撰文 2013年5月13日发表
作者简介：史蒂文·普尔是一名记者、节目主持人和作曲家。他的最新著作是《别被你的食物左右》（2012年）。