我的印象里, AI PC 的概念是从 2024 年的 1 月初消费电子展上兴起的,然后微软推出了 Copilot+ PC 这样一个概念,而同时亮相的好像还有一个名为 Recall 的功能。简单来说就是不断对用户操作时进行截图,以此可以帮助用户回忆他自己遗忘的数据或操作过程。
当时我以为,这就是以为工程师精神的微软又一个不注重隐私、不讨好用户的鸡肋功能。不过当我最近又开始看了看 Copilot+ PC 或是 AI PC 出了点什么实用的、有趣的新功能时,我又想到了这个 Recall 。
往深一步想的话,该功能可能是为微软在积累下一代基于 AI 的操作数据吧。
最近大半年里,我记得 Claude 所在的 Anthropic 和 ChatGPT 所在的 OpenAI 都相继推出了用于操作虚拟机的人工智能操作代理工具。而最近成为话题的 Manus 好像也是类似的工具(我还没用)。再想到大约半年前, Apple 提出要将 Siri 改得更加智能时,给出的概念也是用户可以通过语音来与 Siri 对话,而 Siri 可以帮用户操作设备。
那么微软呢?微软要用什么数据来让 AI 明白,如此庞大的,向后兼容性也如此优秀的 Windows ,当用户使用它的时候,会先点击哪里、再点击哪里?为什么按这个按钮,为什么拖动那个拉杆呢?
也就是说,需要大量的用户操作记录,其中包含了用户的操作逻辑、操作习惯、操作步骤……也就是操作的经验。这些都是非文字的内容,也就是说无法像大语言模型那样,拿互联网上的文本数据来进行训练。
从哪里可以获得这样的操作记录呢?
当然是直接向用户学习——记录用户的操作轨迹。
当然,在 Recall 功能上,微软似乎在人们的质疑声中,反复强调了其本地保存和注重隐私的各种设置。因此我无法直接断定说微软一定将从用户那里积累的数据拿去训练代理 AI 了。
但很明显,庞大的 Windows 用户群的「操作」是一堆堆近况,而用于代理操作的 AI 则缺的就是这些。
不过话又说回来了, Apple 对于 Siri 的训练数据是从何而来的呢?(可能得益于它们之前良好的对于 iOS 、 iPadOS 界面的各种定义?)