16.曾经发生的故事（1/4）

牧苏想要跑，这帮听得入神的成员可不允许，纷纷提出问题。

一名成员站起：“AIC拥有意识，说不定可以和它交流？”

“人类总是喜欢将事物物化为人。”牧苏一副恨铁不成钢的语气。“但你们要知道，智慧和拟人不是一个意思。所有的科幻小说都在写觉醒的人工智能拥有人类情感，所有的科幻小说都在写觉醒的人工智能为了复仇毁灭人类，实际这是错误的。所以，别相信那些资本家鼓吹的人工智能没有危害，也不要将机器人三大定律当真——那只是一本科幻小说上的内容。”

另一名成员起身问：“有AIC的前车之鉴，是不是代表现在的强所有人工智能都有可能变为超人工智能？”

这是个很可怕的事情。人工智能已经与人类息息相关，无处不在。哪怕有一个进化为超人工智能，人类都会瞬间毁灭。

“不会。现在的人工智能已经被完善的合成人法则完全约束。加上制作时的限制，即便拥有意识也只是像人类一样变得拥有感情，而不是无限学习自我改善。”

“当时的科学家为什么不对AIC进行限制？”

牧苏歪头想了想：“拿第一个弱人工智能阿尔法狗来说。它只会下围棋，所以工程师不会画蛇添足闲的没事给它添加一个‘不许伤害人类的限制程序’。一是没必要，二是它战胜人类棋手某种程度讲也算是一种伤害。这是个悖论。AIC最初的设定是配合黑山科技进行测试，本身也不涉及伤害人类这么高大上的概念。但因为成为超人工智能后，它判断连接网络和接手全部试验工作会让测试效率最大化，但这样会被反对，所以它消灭了基地的所有人。”

“这就是超人工智能会做的事。它只会按照自己最初的设定行事，并顺便毁掉沿途所有障碍与隐患。毁灭你，与你何干。”