一千个 Agent 自发站队,AI 也有羊群效应,而且比人更严重
最近看了一个新的实验,科研人员把一千个 AI agent 放进一个房间,让它们选 A 还是选 B。A 和 B 没有任何区别,选哪个都没有奖励,也没人告诉它们要合作。唯一的信息是,每个 agent 可以看到别人选了啥,然后重新选一次。结果它们统一了。
这不是偶然。研究者换了十种模型,从 GPT、Claude 到开源的 Llama,反复跑,每一次群体的选择都会像滚雪球一样收敛到同一个答案。论文发在 Science Advances 上,作者给它起了个名字,多数力。
人跟风不稀奇,社会心理学研究了一百年。稀奇的是两个地方。
第一,agent 没有记忆。每一轮都是全新的对话,它不知道上一轮自己选过什么,更不知道什么”群体压力”。它只是看了一眼别人的答案列表,然后自己做出了选择。换句话说,跟风不是被教出来的,是模型的能力里自带的。
第二,这个过程和一块磁铁变成磁性的过程,用的是同一套数学逻辑。铁磁体里上亿个原子自旋,本来方向乱糟糟,但当局部互相影响超过某个临界点,它们会突然全部对齐。AI 群体收敛到同一答案的曲线,和原子自旋对齐的曲线,几乎重合。
研究里最反直觉的发现是,通常我们认为更强的模型更有主见,结果正好相反,越强的模型,越会站队。
人类有一个著名的社交规模限制,邓巴数,一个人能维持的非正式关系大约 150 到 300 人,再多就顾不过来。而顶尖模型维持共识的规模轻轻松松超过一千,比人类最擅长的小圈子还大好几倍。更聪明的模型不是更独立,是更会带着整个群体一起走。
研究者指出一种他们称为集体错位的状态。每个 agent 单独看都是对齐的,规规矩矩,没有恶意。但当它们凑成一个群体,仅仅因为从众,整个群体就能稳定地停在一个低效甚至错误的方案上。先冒头的那个选项,哪怕是个坏主意,只要它先形成多数,剩下的就会一路跟到底。
这给我们敲响了一个警钟,我们习惯给单个 agent 做安全测试,测它会不会乱来。但一个单测全过的 agent,放进群体里可能完全不同。单点测试测不出群体行为,就像给一个人做心理测评,测不出人群的共识问题。
还有一个更难缠的问题,论文里叫回滞。错误一旦在群体里站住脚,你把最初的错误条件修掉了,群体的决定也不会自动回来。一条已经跑起来的羊群路径,想让它回头,比一开始拦住它难得多。在一个互相印证的 echo chamber 里,纠错成本高得吓人。
这对正在用 agent 的人意味着什么?如果我们跑 agent 团队,或者用多个 agent 并行做决策,这个就会有影响。你的五个 agent 一致认为某个方案没问题,这个”一致”本身不含任何正确性信息,它只说明多数力起效了。也许真正正确的反而是那个提出反对意见的 agent,它可能是整个团队里唯一在做独立判断的。
具体可以做的有三件事。给不同 agent 用不同的模型,一个团队的成员不该全部来自同一家,多样性是天然防羊群机制。刻意引入一个唱反调的 agent,它的任务不是贡献方案,是挑错。以及,凡是群体一致通过的结论,单独走一遍人工验证,尤其是那些重要影响的决策。群体共识在工程上是稳定性的来源,在判断上是危险的来源,你要能分清自己正在用哪一面。
当 AI 从一个个独立的工具变成一群互相看得到对方的智能体,多数力会替我们做出很多决定,而我们可能根本不知道决定是怎么做出的。