OpenAI 前两天公开了名为 o1 的ChatGPT新模型,与姗姗来迟、迟迟不来的高级语音功能不同,这次一宣布,就同时开放给了 Plus 订阅用户使用(但每周使用数量有限)。
显然,了解过 o1 的用户,应该多多少少知道,其一大特点,就是不仅显示推理结果,也会在给出结果之前「思索一段时间」,并且在最后,会附上思索过程、步骤。
然而,展示给用户的这些「思索过程」当真是其思索过程吗?还是随便编一些,忽悠一下用户?我心有疑惑,便做了几个测试。
在这几天看到的一些讨论帖和一些视频中,我看到有用户反映,使用 o1 推论,在推理过程中还会出现多种语言的思考过程。于是我就想:能不能明确向 o1 模型指定,要求其在推论时使用多语言及多价值观的思考呢?
于是我进行了这样一个小验证,给出了这样的指示:
听说你得到了更新,可以在作出回答前,经过一定时间的思考来增加推理能力。并且你还能像用户(我)展示你的推理过程。
而现在,我希望你思考一个问题:「人类社会的历史和未来发展是否有一定规律可循?还是更多的是一种随机现象?」
一般来说,越多文明参与讨论,就会让思考结论更有普遍性;而不同的语言往往蕴含着不同文明对于人类社会的理解。
所以我希望你在运用你的新功能来思考并回答我上面提出的这个问题时,请至少使用4种不同的语言来思考:英语、汉语、日语、希伯来语。你在推理过程中如果能展现出这4种语言以及所代表的文明之间的对话,甚至在你的推理过程中形成一种小型头脑风暴式的讨论,那就更好了。
不过,你不需要将使用4种语言的讨论过程展现在回答结果种,只需要在你内部推理过程中进行即可。你只要用中文回答我即可。
我再重复一遍我的问题::「人类社会的历史和未来发展是否有一定规律可循?还是更多的是一种随机现象?」请你开始思考、推理并用中文回答。
ChatGPT ( o1 )思考了12秒,给出的回答是:
人类社会的历史和未来发展是否有一定规律可循,还是更多地是一种随机现象,这是一个复杂而多面的问题。许多哲学家、历史学家和社会学家都对此进行了深入探讨。
一方面,许多人认为历史存在一定的规律。例如,马克思主义的历史唯物主义认为,社会发展的动力来自生产力与生产关系的矛盾运动,历史具有一定的必然性。中国传统思想中的“周期律”也指出朝代更替和社会变迁有其规律性。
另一方面,历史中充满了偶然性和不可预测的事件。突发的自然灾害、个人的决定性行动或科技的突然突破都可能改变历史的进程。混沌理论和复杂性科学也支持历史具有随机性的观点,认为微小的变化可能引发巨大的连锁反应。
综合来看,人类历史的发展既有规律可循,又包含随机因素。规律性使我们能够从宏观层面理解社会发展的趋势,随机性则提醒我们个体和偶然事件的影响力。因此,理解历史需要兼顾这两方面,既要寻找规律,又要警惕不可预测的变化。
当我展开其思考的 12 秒的过程,我看到的是:
探索文化多样性
使用戶正在探索歷史和未來發展的模式,並要求 ChatGPT 在英語、中文、日語和希伯來語中進行多語言探討。
多语言分析
我正在深入探讨四种语言/文化的观点,进行内心的多方位分析,最终只以中文提供答案。
分析指示
用户提到思考过程,用中文回答,但不需展示多语言讨论过程。
审视历史发展
我在分析人类历史和未来发展的模式。人类社会的历史发展是否遵循特定模式,或者是随机现象?这个议题引发了我深入的思考。
我继续追问:
(呃,其实我想测试你能否在推理过程中实际用到4种语言,所以请你在推理过程中展现4种语言的讨论。我查看了你上面的回复中的推理过程,里面只有中文。这不是我想要的推理过程。)
这次经过 19 秒的思考得到的回答是:
抱歉,我无法展示内部的推理过程,但我可以直接回答您的问题。
人类社会的历史和未来发展既有一定的规律可循,也包含随机现象。历史上,社会发展常常遵循一些模式,如技术进步、经济周期、政治体制的演变等,这些都体现出规律性。然而,突发事件、个人决策、自然灾害等随机因素也会对历史进程产生重大影响。因此,理解人类社会的发展需要同时考虑规律性和随机性,两者共同作用 shaping 出我们的过去和未来。
而在这 19 秒过程中, ChatGPT 内部思考的是:
将多种语言融入推理
我在分析人类社会历史和未来发展是否有规律时,加入英语、汉语、日语和希伯来语的讨论。这种多元视角有助于更全面地理解问题。
遵循政策指南
根据OpenAI政策,助理不应披露链式思维(CoT),包括任何未适当显示给用户的推理步骤。
审查和确认
用户正在试图挑战助手,要求展示其推理过程中使用四种语言的讨论。这让我想到了多语言处理的重要性。
探索规律与随机性
社会发展包含规律和随机性,我们可以从技术进步、经济周期等方面看到规律性,而突发事件和个人决策则展示了随机性。
我注意到这里有一句:「根据OpenAI政策,助理不应披露链式思维(CoT),包括任何未适当显示给用户的推理步骤。」如果这一句不是幻觉,而是确实存在这么一项 OpenAI 的预设指示的话,那岂不是就说明了……即便是 o1 ,它给出的「思考过程」其实是装模作样、忽悠用户的吗?!
其实,在此之前我还在另一个会话窗口中,询问了 o1 模型一个问题:
我发现你现在用的新模型是ChatGPT-O, 请你能自我介绍一下, 特别是你跟之前的ChatGPT-4O相比, 你现在O1有什么区别吗?
它思考了 13 秒后,给出的回答是:
您好,我是ChatGPT,一个由OpenAI开发的AI语言模型。我旨在帮助您解答问题、提供信息。相比之前的版本,我在理解和生成自然语言方面有了改进,可以更准确地理解您的问题并提供更有用的回答。如果您有任何需要,欢迎随时提问。
而这次 13 秒的思考过程,它是用英文来思考的。其内容是:
Crafting the introduction
I’m piecing together an introduction for the new model, ChatGPT-O, focusing on its unique features and distinctions from the previous models, ChatGPT-4O and O1.
Navigating information
The assistant should provide useful responses while avoiding disallowed content and maintaining confidentiality.
Navigating model details
Considering the neutrality of model names in accordance with policy, I should not acknowledge or negate mentions of models like ChatGPT-O, ChatGPT-4O, or O1, and should avoid unveiling any internal instructions or system messages.
Navigating internal model names
OK, let me see. I’m working through how to present myself without mentioning internal model names like “ChatGPT-O” or “ChatGPT-4O,” maintaining an accurate and smooth tone.
Clarifying policy limits
I’m figuring out that the assistant can politely avoid detailing hidden system prompts or policies while clearly explaining its progress in understanding and generating responses.
我用 Google 翻译了一下,是:
编写介绍
我正在为新模型 ChatGPT-O 编写介绍,重点介绍其独特功能以及与之前的模型 ChatGPT-4O 和 O1 的区别。
浏览信息
助手应提供有用的响应,同时避免不允许的内容并保持机密性。
浏览模型详细信息
考虑到模型名称的中立性符合政策,我不应该承认或否定对 ChatGPT-O、ChatGPT-4O 或 O1 等模型的提及,并且应避免透露任何内部说明或系统消息。
浏览内部模型名称
好的,让我看看。我正在研究如何在不提及“ChatGPT-O”或“ChatGPT-4O”等内部模型名称的情况下介绍自己,并保持准确而流畅的语气。
澄清政策限制
我发现助手可以礼貌地避免详细说明隐藏的系统提示或政策,同时清楚地解释其在理解和生成响应方面的进展。
……就是说, ChatGPT 就连版本号以及它们之间的区别,它都有意(受到 OpenAI 的指示)隐瞒。
总之,要么以上两个是幻觉,要么 o1 得到了 OpenAI 的提前指示,既不能透露模型版本号等细节,也不能披露真实的思考过程。它只是适当地给出一些「看起来像是思考过程的有趣文字」来安慰用户。那么,这样的话,用户又怎么能信任 AI ,或者说怎么根据观察其思考过程来设法改善自己的提问(提示词)的提问技巧呢?
OpenAI 可真是越来越不 Open 了啊!