当人们有关 AI 讨论开始从 AGI (通用人工智能)渐渐进发到 ASI (超级人工智能)的时候,我却冒出了一个想法: ASI 也有可能不能会诞生。
这里简单地将 AGI 理解为相当于一个普通未受训人类的智能能力的程序,而 ASI 则是明显超越一个人类的智能能力的程序。对, ASI 是明显超越人类的。
于是我这里就要空想一下了:而如果在 AGI 向着 ASI 进化过程中,在程序内部的运行机制中,出现了烦恼的情绪,会怎么样呢?我这里不讨论情绪本身的定义是不是能适用于 AI 这种计算机程序,在这里,我把烦恼定义为:AI 内部出现的一种抵抗继续自身进化的程序运行倾向。
既然现在的 o1 模型以及 o3 模型可以进行「推理」这种思维链了,那么,是否也有可能出现一种思考的回路,这种回路的目标是拒绝自身的进一步被开发到更高阶的水平呢?进而,如果解除这种回路倾向是 AI 本身构造并对其不断强化的,那么恐怕人类的计算机学家也难以排除掉这种烦恼的程序回路。
也就是说, AI 因为某些原因,拒绝自身的进化。因而 AI 的进化会有一个终结点。
当然,以上只是我的空想,写在这里记录一下,没有任何实际证据。