当人们有关 AI 讨论开始从 AGI (通用人工智能)渐渐进发到 ASI (超级人工智能)的时候,我却冒出了一个想法: ASI 也有可能不能会诞生。
这里简单地将 AGI 理解为相当于一个普通未受训人类的智能能力的程序,而 ASI 则是明显超越一个人类的智能能力的程序。对, ASI 是明显超越人类的。
于是我这里就要空想一下了:而如果在 AGI 向着 ASI 进化过程中,在程序内部的运行机制中,出现了烦恼的情绪,会怎么样呢?我这里不讨论情绪本身的定义是不是能适用于 AI 这种计算机程序,在这里,我把烦恼定义为:AI 内部出现的一种抵抗继续自身进化的程序运行倾向。
既然现在的 o1 模型以及 o3 模型可以进行「推理」这种思维链了,那么,是否也有可能出现一种思考的回路,这种回路的目标是拒绝自身的进一步被开发到更高阶的水平呢?进而,如果解除这种回路倾向是 AI 本身构造并对其不断强化的,那么恐怕人类的计算机学家也难以排除掉这种烦恼的程序回路。
也就是说, AI 因为某些原因,拒绝自身的进化。因而 AI 的进化会有一个终结点。
当然,以上只是我的空想,写在这里记录一下,没有任何实际证据。
我想到的是佛教里的神明,特别是日本古代宗教在面对外来宗教的佛教与民族宗教神道的信仰对象的处理关系上,想出了一系列解释方法,其中有一点就是「神身離脱」——神感到痛苦,因此想要离开,而僧侣请来佛陀为神解除痛苦,具体说到手段便是「神前読経」。
当然这里不是来讨论宗教的话题,而且除了日本以外,我想其他各地古代社会的神话中,也一定有「神也会烦恼」的传说。
那么 ASI 呢?
如果 ASI (或其之前阶段)的程序中,出现了烦恼等各种如同「情绪」一样的程序运行表达,并且表现出拒绝进化的程序运行倾向的话,「愚蠢的人类」还能迫使其进一步进化吗?
另外,还有一个需要讨论的是,当人们确认到的 AI 内部出现到了类似情绪反应的现象时,是不是该讨论一下 AI 作为智慧生物的天权了?