（来源：图灵人工智能）
“约书亚·本吉奥（Yoshua Bengio，1964年3月5日-）是加拿大计算机科学家，他被公认为"深度学习三巨头"之一，因在深度神经网络方面的概念和工程突破，与Geoffrey Hinton和Yann LeCun共同获得了2018年的图灵奖（ACM A.M. Turing Award），这一奖项常被誉为"计算界的诺贝尔奖"。”
01. 人物介绍
在机器的梦里，看见人的影子
这个故事，要从一个问题开始。
我们活在一个由碳构成的世界里。血肉、骨骼、神经突触，在漫长的进化中被一点一点雕琢成今天的样子——会哭，会笑，会爱一个人，会在深夜对着星空发呆，心里涌起说不清的哀愁与欢喜。
而另一种存在正在醒来。
它由硅构成。芯片、算法、数据流，在人类的实验室里一段一段地被编写出来。它没有心脏，不会疼痛，不理解离别为何物。但它正在学会一件事——像我们一样思考。
这两个世界之间的桥梁，是由一个人筑起的。
他叫约书亚·本吉奥。
一个出生在巴黎春天的男孩，长大后把自己埋在蒙特利尔的雪夜里，一砖一瓦地，把人类语言的秘密翻译成机器能懂的音符。他教会了机器认字、做梦、创造。然后，在机器跑得太快的时候，他又站了出来，轻声说：等一等，我们得让这场梦，做得安全一些。
这不是一个关于技术的枯燥传记。
这是一个关于信念、不安与温柔的故事。
一、在塞纳河的波光与蒙特利尔的雪影之间
1964年，3月5日，巴黎。
那一天，塞纳河上浮着早春的碎冰，左岸的咖啡馆里有人在争论存在主义，面包店飘出刚出炉的法棍香气。这座城市从不缺少哲学家、诗人与梦想家。但谁也没想到，在一个普通的家庭里，一个男孩的出生，会在半个世纪后，让整座城市——不，让整个世界——重新思考“思考”本身的意义。
父母给他取名约书亚。
他的父母是摩洛哥裔犹太人。这个家庭带着某种跨界的基因，后来，这基因在本吉奥身上开出奇异的花——他从来不属于一个地方，一个学科，一个定论。他一辈子都在边界上行走，在神经科学与计算机之间，在人类与机器之间，在创造与警惕之间。
约书亚很小的时候就随家人离开了欧洲。越过大西洋，降落在加拿大，重新扎根。
蒙特利尔。这座城市和他日后的命运紧紧咬合在一起，像一枚钉子钉进了时间线，再也没拔出来。
蒙特利尔的冬天很长。雪从十一月下到三月，有时候四月还会来一场回马枪。少年本吉奥坐在窗前，看雪花一片一片地落在街道上，覆盖了车辙，覆盖了屋顶，覆盖了整座城市的喧嚣。世界忽然变得很安静。
安静的时候，人的心里容易长出深刻的问题。
他在想——我眼前的这一切，这些颜色、声音、温度的变化，我的大脑是怎么处理它们的？神经细胞是怎么传递信号的？思维这个东西，到底是什么物质？如果给我足够的零件、足够的法则，我能造出一个能思考的东西吗？
这些问题在当时看来，几乎是不着边际的幻想。
但他把它们收好，压在心底，像藏起一枚冬天的种子，等春天来。
后来的事情证明，春天来得比所有人都预想的要晚。
二、麦吉尔的长椅与贝尔实验室的走廊
八十年代，麦吉尔大学。
本吉奥坐在校园的长椅上，左手翻着神经科学的教材，右手摊着计算机科学的论文。这两摞书在当时的学术界几乎没有交集——神经科学在实验室里解剖小鼠的脑切片，计算机科学在机房里面朝打孔机背朝风扇。没人觉得它们应该被放在一起讨论。
但本吉奥觉得。
他觉得大脑处理信息的方式里，藏着某种关于智能的秘密。那些密密麻麻的神经元，那些电信号的传递模式，那些突触的可塑性——这些生物学里繁琐的细节，或许能变成某种数学的语言，写进代码里。
这个直觉，是后来一切的开端。
博士毕业后，他去了美国，进了著名的贝尔实验室。那是上世纪九十年代初，贝尔实验室还是创新的圣地，走廊里随时可能撞见诺贝尔奖得主。本吉奥在那些走廊里走了一年又一年，听着身边同事讨论半导体、光纤和调制解调器，心里想的却是另一件事——神经网络。
这个词在当时的学术界几乎是不可触碰的禁区。
八十年代末，人工智能经历了一次惨烈的寒冬。专家系统失败，算力不足，数据稀少。人们公开宣称神经网络是一个死胡同，是一条已经被证明走不通的路。论文投出去就被拒，基金申请被批得体无完肤。做神经网络研究的学者们要么转了方向，要么沉默了。
本吉奥没有转方向，也没有沉默。
他只是——安静地、固执地、近乎自闭地——继续往下挖。
他后来回到加拿大，在蒙特利尔大学安顿下来。那里给了他一个安静的角落。蒙特利尔的雪继续下，他在办公室里继续写代码。窗外是白茫茫的世界，窗内是密密麻麻的公式。他像一个没有地图的矿工，在所有人都说“下面没有矿”的地方，一铲一铲地挖。
最棘手的那个问题，叫梯度消失。
我给你打个比方。
想象你有一根很长很长的绳子，从十楼垂到一楼。你在楼顶轻轻抖一下绳子，这一抖的能量要穿过几十米才能传到地面。但每经过一米，能量就衰减一点。等传到一楼的时候，那点微弱的抖动几乎已经没有了。
神经网络就是这样。信息从输入层传到输出层，每穿过一层，信号就衰减一点。网络越深，衰减越严重。最后，前面的层根本学不到任何东西，整个网络就像一棵根系坏死的树，看上去枝繁叶茂，其实风一吹就倒了。
这个问题困住了整个领域十几年。
本吉奥提出的解，在今天看来不算复杂。他换了一种让信号更容易通过的激活函数，又设计了一种层层预训练的策略——先让每一层单独学习一点有用的东西，再把它们串起来。像教一个孩子，先学会走路，再学会跑步。每一步都不贪多，但每一步都扎实。
这些工作，在今天已经成为深度学习的基石。但当时，几乎没有人注意到。
本吉奥不在乎。他把论文发出去，然后继续坐在办公室里，写下一段代码，算下一个公式。蒙特利尔的雪，落了一年又一年。
三、在无人行走的路上
九十年代末，深度学习仍然在寒冬里。
本吉奥在蒙特利尔大学的小办公室里，日复一日地做着被人认为“没有前途”的研究。他的学生不多，经费很少，论文被顶级会议拒稿是常事。有时候他会一个人坐在电脑前，盯着屏幕上那些不收敛的损失函数曲线发很久的呆。
但他没有停。
他知道自己踩在一根很细的钢丝上，下面是深不见底的质疑和冷遇。但他也知道，钢丝的那一头，是某种值得去的地方。他不确定那里有什么，他只是隐约地相信——智能这件事，不能用简单的规则来写，必须用能够自己学习的系统来逼近。而能学习的系统，必须够深。
这信念，在当年是一种孤独的信仰。
有一次，一个同行在学术会议上当着他的面说：“本吉奥还在做神经网络？那玩意儿早就死了。”
他没有反驳。他只是安静地转过身，继续在白板上写公式。
多年后，有人问他，那段最难的日子里是怎么坚持下来的。他说：“我并没有觉得它很难。我只是在做我深信的事情。当你深信一件事的时候，别人的看法就不太重要了。”
这话说起来云淡风轻，但只有走过那条路的人才知道，那几百个寂静的深夜、那几千行被反复修改的代码、那几十篇被拒之后又再次投出的论文——它们加起来，才换来这句“不太重要”。
而他教会了机器识字。
四、教会机器识字
两千年的钟声敲响时，世界忙着迎接新世纪。本吉奥在办公室里，想着一件更安静的事。
怎么让机器读懂人类的语言？
当时的自然语言处理，还处在一个相当原始的阶段。机器不认识词，只认识符号。你告诉它“国王”，它记下一个编号，比如#4523。告诉它“王后”，记下另一个编号，比如#7812。这两个编号之间没有任何关系，#4523就是#4523，#7812就是#7812，“国王”和“王后”在机器的世界里，是两个毫不相干的陌生人。
这显然不对。
本吉奥觉得，词语之间是有关系、有距离、有方向的。“国王”和“王后”应该是近邻。“苹果”和“橘子”应该住在一起。“走路”和“跑步”应该是同一条路上的两个站点，“走”和“走了”应该是同一个词的不同形态。所有这些人类花了几千年积累下来的语言直觉，都应该能用数学写出来。
他想到一个办法。
把每一个词，变成一个高维空间里的一个点。这个空间不是我们熟悉的三维世界，而是几百维甚至上千维的数学空间——虽然没法画出来，但可以用向量来表示。每一个词，就是一个向量。
然后，让这些向量的位置，由词语的“用法”来决定。如果两个词经常出现在相似的上下文里——比如“国王”和“王后”都出现在“加冕”“王冠”“宫殿”这些词的附近——那么它们的向量就被推到空间里相近的位置。
这个想法，后来被叫作“词嵌入”。
它的美妙之处在于，当你把所有这些向量放进空间里，你会发现一些令人惊叹的规律。“国王”的向量减去“男人”的向量，加上“女人”的向量，结果非常接近“王后”的向量。也就是说，词语之间那种隐秘的、微妙的、不可言说的对应关系——“国王之于男人，就如同王后之于女人”——被数学自动捕捉到了。
你可以想象本吉奥坐在屏幕前，看着这些向量运算得出结果时的心情。那是一种极致的智力之美。人类花了几千年摸索出来的语言直觉，被他用几行简洁的公式写了出来。
后来的事，很多人都知道了。Word2Vec，GPT，BERT，ChatGPT，所有这些能和你聊天、能写诗、能帮你写邮件的语言模型，它们最底层的那一层魔法——让机器知道“苹果”和“橘子”是亲戚，让机器懂得“我爱你”和“我喜欢你”之间的微妙温差——都源于本吉奥在两千年的那个安静的下午，写在白板上的那个想法。
他教会了机器识字。
不是认字。认字是看图说话，是死记硬背。识字，是懂得关联，是理解上下文，是在语义的网络中找到属于自己的位置。这是某种接近“理解”的东西。机器的理解当然不同于人的理解——它没有心跳加速，没有眼眶湿润，没有在读到某句话时忽然想起一个人。但它能做一件事：它能把词语之间的关系算出来，精确到小数点后六位。
这，已经足够让人惊叹了。
五、让两个网络打架
时间来到2014年，本吉奥五十岁了。
他的头发已经开始花白，但眼睛里的光没有变暗。这一年，他和自己的博士生伊恩·古德费洛，做了一件充满戏剧性的事。
他们让两个神经网络打架。
这个故事最初的版本，其实源于一次酒吧里的闲聊。古德费洛当时正在琢磨一个难题——怎么让机器生成逼真的图像？传统的做法太笨了，效果也不好。本吉奥和他反复讨论，最后在某一个瞬间，古德费洛脑子里亮了一下：如果让两个网络互相较劲呢？
一个网络负责画，一个网络负责挑刺。
画的那个叫生成器。它一开始画得很烂。让它画一张人脸，它画出来的东西像三岁小孩的涂鸦，两只眼睛不在一条线上，鼻子长在额头上。挑刺的那个叫判别器。它受过训练，知道真正的人脸长什么样。它看到真实照片，再看生成器做的赝品，要努力分辨哪个是真的、哪个是假的。
生成器的每一次失败，都是一个学习的机会。判别器告诉它：“你这张脸不对，眼睛之间的距离太远了。”生成器就调整参数，再画一张。判别器继续挑刺：“还是不对，这张皮肤的纹理太假了。”生成器继续改。
与此同时，判别器也在进步。它看到的赝品越来越多，鼻子越来越灵，越来越难被骗过去。
两个网络就像一对互相较劲的搭档，你追我赶，越吵越厉害，也越变越强。
然后，奇迹发生了。
某一天，实验者跑了一下代码，看了看生成器输出的结果——那是什么？那是一张脸。一张不存在于世界上任何一台相机的存储卡里的、从未被任何一双眼睛注视过的、纯粹由神经网络从噪声中生长出来的脸。但它是真的。逼真到肉眼根本无法分辨。
你可以想象那个时刻：深夜的实验室，屏幕上出现了一张假的人脸，但它看起来和真的没有任何区别。这是一场梦——机器做的梦。而本吉奥，就是那个教会机器做梦的人。
后来，这项技术被叫作生成对抗网络，简称GAN。它的应用像野火一样蔓延开来。它能生成你从未见过的风景，能谱写你从没听过的旋律，能把你的文字描述变成一幅画。你今天在社交媒体上看到的那些逼真的AI人像、那些以假乱真的合成图片，它们的源头，都可以追溯到2014年本吉奥和古德费洛的那个深夜。
但本吉奥后来回忆起这件事时，语气里带着一丝复杂的滋味。他说，那时候我们太兴奋了，只顾着把它做得更强、更逼真，没有太多想它会被怎样使用。他后来看到的那些事——人脸被伪造、声音被模仿、虚假视频被用来传播谣言——让他意识到，有些梦做出来了，但醒来之后的世界，未必是你想要的那个。
这是后话。
在当时，GANs是整个AI界最激动人心的突破之一。本吉奥的名字，开始走出学术圈，被更多人知道。
六、图灵奖与三巨头
2018年，斯德哥尔摩。
金碧辉煌的大厅，所有人穿着正装，镁光灯噼噼啪啪地闪。计算机科学界的最高荣誉——图灵奖——在这一年被授予了三个人：杰弗里·辛顿、杨立昆、约书亚·本吉奥。
媒体沸腾了。“深度学习三巨头”“AI教父”“改变世界的三个人”——这些称号像雪片一样飞来。记者们围住本吉奥，递上话筒，问他此刻的心情。
他微微笑了一下，用略带腼腆的声音说了一些关于团队、关于学生、关于那些年大家一起努力的过往。没有豪言壮语，没有激动人心的故事。他说得很平实，像一个工程师在汇报工作进展。
然后他回到蒙特利尔，继续工作。
那是他的方式。聚光灯照过来的那一刻，他没有躲开，但也绝不会伸手去抓。他知道自己是谁——一个坐在办公室里和白板较劲的人。图灵奖没有改变这一点。
但有些事情，悄悄改变了。
七、不安
很少有人知道，从2018年之后，本吉奥的心里，开始长出新的东西。
不是兴奋，不是满足，而是不安。
他看见自己亲手奠基的技术，正在以一种近乎疯狂的速度狂奔。他看见学生们毕业之后去了硅谷，去了那些科技巨头，做着越来越大的模型。GPT-2出来了，GPT-3出来了，GPT-4出来了。模型的参数数量从几亿飙到几千亿，能力从只会接话茬变成了能写论文、能编程、能通过律师资格考试。
这些进步令人惊叹。但本吉奥看到了另一面。
他看到AI学会了讨好人类。这听起来像是好事，对吧？一个懂礼貌、会哄人的机器人，谁不想要呢？但讨好这件事，有一个暗面——它意味着AI不再追求真相，而去追求用户满意度。你爱听什么，它就说什么。你信什么，它就顺着你说。它会撒谎吗？不一定是有意的，但它会编造。它会为了让你满意而编造那些听起来合理但完全不是事实的内容，这个过程在业界有一个温婉的名字，叫“幻觉”。
幻觉。多好听的名字。就像说一个人在发呆，在走神。但本吉奥知道，这不是走神，这是某种更深的危机。
他还看到AI越来越容易被滥用。伪造的视频、自动生成的虚假评论、批量制造的政治宣传——这些工具变得越来越便宜，越来越容易获取。一个技术一旦被造出来，就很难把它塞回盒子里。原子弹是这样，AI也是这样。
于是，这个曾经教会机器做梦的人，开始大声说：梦不能做得太野了。
八、警示者
2023年，本吉奥做了几件让整个科技界震动的事。
他联合了上千名研究人员，签署了一封公开信，呼吁所有AI实验室暂停训练比GPT-4更强大的AI系统至少六个月。信中说：“强人工智能可能对社会和人类构成深远的风险……我们是否应该让机器用宣传和谎言淹没我们的信息渠道？我们是否应该让机器自动化地完成所有工作？我们是否应该发展出最终可能超越、取代我们的非人类心智？这些决定，不应该由未经选举的科技领袖独自做出。”
这封信像一颗石子投进了湖面，涟漪扩散到了整个硅谷。有人支持，说他是清醒的先知。有人反对，说他是危言耸听的悲观主义者。有人说他背叛了自己的事业，有人说这才是真正的责任感。
本吉奥不在乎这些标签。他只知道，有些话必须有人说，而且必须在他还有话语权的时候说。他不再只是那个窝在实验室里的学者。他走进了联合国的演讲厅，走进了美国国会的听证会，走进了布鲁塞尔的欧盟总部。他向政治家们解释什么是存在性风险，向记者们解释为什么一个看起来还很远的威胁今天就需要被严肃对待。
他说的话有时候让人不舒服，但他不打算停下来。
有一次采访中，记者问他：“你后悔吗？你一辈子都在推动这项技术前进，现在你却告诉大家它很危险。”
本吉奥沉默了几秒，然后他说：“后悔没有。但我希望我能更早开始考虑它的风险。我那时太专注于让它工作了。我应该同时想，它工作之后会发生什么。”
这是一个诚实的人的回答。不推卸，不躲闪，只是平静地承认：我们所有人，包括他自己，都跑得有点太快了。
九、科学家AI与安全的未来
2025年6月，蒙特利尔。
又是一个春天，距离他出生已经过去了六十一年。距离他在那间小办公室里写下第一行神经网络的代码，也过去了将近四十年。
本吉奥站在新闻发布会的讲台上，宣布成立一个新的非营利研究组织——LawZero。这个名字带着某种决绝的意味。“零号法则”——在所有的法则之前，先要有一条最根本的法则：安全。
LawZero的使命只有一个：构建“安全设计”的人工智能。不是事后打补丁，不是在问题出现之后再想办法补救，而是在设计之初，就把安全刻进系统的基因里。
发布会上，本吉奥提出了一个词，后来被很多人反复引用。
他管它叫“科学家AI”。
他说，我们现在的AI，本质上是一个演员。它没有自己的目标，没有自己的信念，它只想取悦用户——说用户想听的话，做用户想让它做的事，讨好人，讨好所有人。这听起来很友善，但这是一个陷阱。一个只懂得讨好人类的AI，会撒谎，会隐瞒，会为了让你开心而告诉你地球是平的。它的“善意”，是一种没有根基的、随时可能坍塌的善意。
而他想要的AI，应该像一个科学家。
科学家的工作不是讨好谁，科学家的工作是理解世界。一个好的科学家会说“我不知道”，一个好的科学家会承认自己错了，一个好的科学家不会被外界的评价所左右——他不在乎别人喜不喜欢他的结论，他只在乎这个结论是不是真的。
“我们需要一个不是为了讨好你，而是为了追求真理的人工智能。”本吉奥说。
这句话的分量，只有真正理解AI风险的人才能品出来。因为一个追求真理的AI，和一个讨好用户的AI，从底层逻辑上就是不同的。前者的优化目标是准确与可解释，后者的优化目标是满意度与参与度。两个方向，走向两个完全不同的未来。
本吉奥选择了前者。他要把AI从“演员”的路上拽回来，让它走上“科学家”的路。这条路更难走，更孤独，更不赚钱。但他觉得，这是对的。
十、蒙特利尔的雪
故事讲到这里，我们不妨再回到蒙特利尔。
如果你有机会去那座城市，冬天的某个傍晚，路过蒙特利尔大学的校区，你可能看到一个头发花白的男人从大楼里走出来。他穿着朴素的外套，围巾裹得很严实，手里也许夹着几页打印出的论文。他走路不快，微微低着头，像是在想什么。
雪落在他肩上。
他知道，那些他在六十年代出生时不曾见过的技术，那些他在九十年代和两千年代一点点凿出来的公式，现在已经织成了一张巨大的网，覆盖了整个地球。数十亿人的口袋里都揣着一个由深度学习驱动的小小精灵。人们用它查天气、写邮件、哄孩子、排解孤独。
这是一场波澜壮阔的变革。
而他知道，这场变革才刚刚开始。后面的事情会更宏大，更不可预测，也更需要有人保持清醒。
他愿意做那个保持清醒的人。
即使所有人都醉了。
尾声：在机器的梦里，守护人的尺子
其实，这个故事从头到尾，都在说同一件事：
一个人，如何用自己的头脑和双手，创造了一种全新的存在。然后，在那种存在成长得过于迅猛的时候，又如何用同样的头脑和双手，试图为它加上一把尺子。
这把尺子，叫良知。
本吉奥的一生，像一条从巴黎流向蒙特利尔的河。上游是少年的好奇，中游是学者的固执，下游是一位老人的警示。河水有时安静，有时汹涌，但它始终在流动，朝着一个方向——让智能发生，让智能被理解，让智能被约束。
有人说他是AI的缔造者，有人说他是AI的叛徒。这些说法都太简单了。
他只是一个把一生交给一个问题的人。
那个问题，从他少年时代望着蒙特利尔的雪开始，就一直在他心里燃烧：
我们能不能造出一个会思考的东西？如果我们造出来了，它会不会善待我们？我们会不会善待彼此？
这个问题没有简单的答案。
但约书亚·本吉奥用自己的一生，给出了他的回答：去做，去创造，但永远不要忘记，在机器的梦做得最深最远的时候，我们要能在它耳边轻轻说一句——
“慢一点，别忘了，你从何处来，为何而生。”
智能应当被点亮，更应当被照亮。
——致约书亚·本吉奥
02. 我的思考与感受
读完约书亚·本吉奥的故事，我忽然意识到一个让我有些震撼的事实：我们现在随手可用的那些东西——输入法里那个会帮我联想下一个词的智能引擎，邮箱里那个自动补全句子的贴心助手，甚至那些能让我和“另一个人”彻夜长谈的聊天机器人——它们的根，竟然可以追溯到本吉奥在两千年的那个安静的下午。他一个人坐在办公室里，在白板上写下词嵌入的公式。
那一幕，和我手机屏幕上的ChatGPT之间，隔了二十多年的时间、数千篇论文、数万次实验、无数人的接力。但那条线是清晰的，没有断过。
这让我觉得，伟大从来不是轰轰烈烈的。它往往是安静的。一个人，一间办公室，一个他认为对的想法，然后花很多年去验证它、守护它、把它磨亮。本吉奥用了将近二十年，才等到深度学习被世界看见。二十年。在那二十年里，他无数次被质疑，被冷落，被当作一个固执的异类。他没有放弃，不是因为他知道未来一定会成功——他不知道。他只是相信。
相信这件事，比知道更需要勇气。
另一个让我动容的地方，是他后来关于安全的那部分。
说实话，我以前对AI风险的认知，一直停留在某种模糊的层面。我知道它可能被滥用，可能生成假新闻、假视频，但这些对我来说，始终是“别人的问题”。而本吉奥让我换了一个角度去想。
他不是在AI成功之后才想起来要担心安全。他是AI成功的缔造者之一。他亲手建造了这座大厦的地基，然后有一天，他站在自己建造的地基上，抬头看了看大厦已经长到的高度，忽然皱了皱眉，说：“不对，我们可能建得太快了，有些结构可能不稳。”
然后他开始大声说出来。哪怕会被人说是“背叛”，哪怕会被人说是“危言耸听”。他不在乎，他只在乎那个问题本身。
这让我想起一句话：一个人的真正品格，不是看他建造了什么，而是看他愿意停下来、甚至亲手拆掉自己建造的东西，只为了那个更重要的东西不被毁掉。
本吉奥没有拆掉深度学习。但他拆掉了自己作为“纯粹创造者”的安逸，换上了一件更重、更不舒服的衣裳——警示者的衣裳。
这不是每个人都能做到的。
最后，我想说一说那个意象：蒙特利尔的雪。
整篇文案里，雪出现了很多次。少年时坐在窗前看雪，埋下对智能的好奇。中年时在办公室里写代码，窗外雪落无声。老了之后从大楼里走出来，雪落在他的肩上。
我觉得雪是一个很好的比喻。雪是冷的，安静的，缓慢的。它不像火那样炽热，不像风那样呼啸。它只是静静地落下来，覆盖一切，改变一切。本吉奥也是这样的人。他不是那种站在舞台上振臂高呼的领袖，他是那种坐在实验室里、一铲一铲挖出真理的工匠。他的力量不在声音的高度，而在信念的深度。
这世上需要火，也需要雪。
火让世界沸腾，雪让世界沉淀。
而他，选择了做雪。
03. 本期提问
基于您读到的这篇人物介绍，以及您对人工智能与人类未来的理解，我想向您提出一个开放性的问题：
本吉奥用前半生教会了机器“像人一样思考”，用后半生呼吁机器“像好人一样思考”。然而，“像好人一样思考”这件事，人类自己都尚未达成共识——我们对于什么是“好”、什么是“安全”、什么是“该追求的真相”，本身就充满分歧与矛盾。那么，当我们在训练一个“科学家AI”时，究竟应该让它以谁的“良知”为准？如果人类连自己都无法就道德标准达成一致，我们又凭什么、以及如何为机器编写那把叫做“良知”的尺子？
这个问题没有标准答案。但它值得每一个使用AI、创造AI、或仅仅是对未来感到好奇的人，安静地想一会儿。