雷锋网 AI 科技评论按：近期 Facebook 泄露海量用户数据，而且这些数据还被利用来针对性地影响 Facebook 用户的事情已经闹得沸沸扬扬。除了用户隐私保护这一话题永远都不过时之外，「用来分析用户、影响用户的 AI 算法应当担负怎么样的责任」这一话题也在 AI 圈中引起了讨论。Keras 作者、谷歌大脑研究员 François Chollet 也在 Twitter 上连发好几十条推文，表达了自己的观点。这些推文基本构成了一篇完整的文章，而且观点深刻发人深省。雷锋网 AI 科技评论把这些推文编译整理如下。
François Chollet：
Facebook 已经做了一系列「成功」的实验了，其中的内容包括通过控制信息流里展现的内容控制用户的情绪和想法，以及预测用户未来可能做出的决定，比如预测分手、预测建立新恋情。如果 AI 有什么重大的威胁需要引起足够的担心的话，那它已经在这里显现出来了：极为有效地、可以大规模实行地控制普通大众。Facebook 非常努力地想要成为 AI 方面的领军力量这件事，在看清它背后的全部隐喻之后，开始真正地让人不寒而栗。
对 AI 研究社区里的各位，下次你们以任何形式参与到 Facebook 的 AI 生态系统中的时候，你们都需要想想，想想自己又帮 Facebook 增添了哪些能力。我们共同养大的这个怪兽，最终会把我们每一个人都吃掉。很抱歉我把这事说得很夸张，但是这件事的威胁程度值得用这么严重的词。Facebook 在这件事上体现出的问题，并不仅仅是失去了隐私并被用于泛极端主义。在我看来更值得担心的是，它把个人的数字信息用作心理控制的手段。
有两个长期趋势正在改变整个世界的模样：一，我们每个人的生活越来越去物质化，越来越多地由「在网络上享用和创造内容」构成，工作中、下班在家的时候都是这样；二，AI 也在变得越来越聪明。在能够影响我们如何享受数字化内容的算法层面上，这两个趋势的作用开始叠加。决定我们能看到哪些文章、我们和谁联系、我们看到谁的观点、收到谁的反馈等等无限多的事情的，变成了不透明的媒体算法。基于广大用户这么多年积攒的数据，用算法处理我们能享用哪些数据的做法让这些系统对我们的生活、对我们要变成什么样有了可见的控制力。当我们的生活越来越多地由数字生活组成的时候，我们在这个世界的管理方 —— AI 算法 —— 面前，就越发地脆弱。
简短来说，Facebook 可以同时测量所有关于我们的信息，同时还控制我们接触到哪些信息。当你同时可以接触到感知和行为的时候，这就变成了一个 AI 问题。那么你就可以开始为其中的人类行为建立一个优化闭环。一个强化学习闭环。在这个闭环里可以观察到目标的当前状态，然后持续改进给他们看到的信息，一直改进到他们开始表现出你想看到的观点和行为为止。
AI 研究里有相当一部分内容（尤其是 Facebook 一直在投资的这一部分），就是关于如何开发算法，尽可能高效地解决这种优化问题的，以便能达到这样的闭环，对其中发生的现象有完全的掌控。以 Facebook 这件事来讲，在闭环里被掌控的就是我们自己。
如果从信息安全的角度考虑的话，这已经可以称得上是「脆弱性」，可以通过已知的系统特性掌控整个系统。对于人类心智来说，这些脆弱性永远都没有办法修复，人类就是这样一种生物。我们的 DNA 就是这样的，我们的心理特点就是这样的。作为人类个体，我们没有任何有效的方法可以保护我们不受这种控制。AI 算法越来越聪明，它们对我们的所做、所信有完全的了解的同时，还对我们接收的信息有完全的控制。人类心智这个静态的、脆弱的系统，在这样的 AI 面前只会越来越沦陷。
而很重要的是，对大量人口的控制，尤其对于政治观念的控制来说，让 AI 控制我们看到哪些信息这样的做法其实都不一定需要很先进的 AI。一个没有自我认识的、没有超级智能的 AI 就已经可以是显著的威胁。
所以，如果对大量人口的控制现在就已经理论上可行的话，那为什么世界还没有走向毁灭呢？简单地说，我认为是因为我们做 AI 做得还太糟糕了。不过这可能也很快就要发生变化了。你们可以看到，我们的技术能力就是此处的瓶颈。
我们和这个信息密度越来越高的世界之间的沟通越来越多地依赖算法并不构成什么问题。随着互联网和 AI 的发展崛起，这个趋势是不可避免的。真正的问题在于控制。我们需要让用户决定算法优化的目标是什么，而不是让信息流算法控制我们，从而达到它的某些不透明的目标（比如影响我们的政治观点，或者最大化我们在信息流上浪费的时间）。
让用户自己配置他们的信息流，比如尽量帮助用户自己的学习和个人成长之类的，应当成为一种可能性。这样一来，更复杂的 AI 也不再是人类的威胁，而会对我们有许多益处，可以让我们更高效地达成自己的目标。长期来看，我认为教育和自我提升将会是 AI 最具影响力的应用领域之一。这个动态发展的过程仿佛是现在这样企图控制我们的 AI 系统的一个翻版，但唯一的不同就是谁来给算法设定目标。