EntAI 雷达摘要
- 适合人群:AI行业从业者、技术决策者、内容创作者
- 影响领域:人工智能、内容创作、出版
- 机会判断:机会判断:对齐训练与创意多样性之间的平衡可能成为AI模型优化的新方向,为开发者提供差异化的内容生成策略。
- 风险提醒:风险提醒:AI生成的单调内容可能进入训练数据循环,进一步加剧输出多样性匮乏,并在现实生活中造成信息混淆和信任危机。
- 推荐标签:AI创意写作、对齐训练、模式崩塌、合成数据
- 推送优先级:3/5
软件工程师Daniel May注意到了一个奇特的现象:当他让AI聊天机器人创作故事时,这些模型会反复讲述关于一个名叫Elias Thorne的人的故事。 现在,一篇来自康奈尔大学研究人员Sil Hamilton和David Mimno的预印本论文,为这一现象提供了系统性的科学佐证。研究揭示了AI模型在创意写作中表现出的惊人一致性,甚至指向了一个可能正在悄然扩散的“AI原创角色”。 研究人员向OpenAI的GPT-5.4 Mini、Anthropic的Claude Haiku 4.5以及Google的Gemini 3.1 Flash-Lite等主流轻量级模型,给出了5个不同的故事创作提示。 在分析了约20,000个由模型生成的故事后,一个令人惊讶的模式浮出水面:仅仅11个单词——Lighthouse(灯塔)、Keeper(看守人)、Baker(面包师)、Mayor(市长)、Clockmaker(钟表匠)、Fisherman(渔夫)、Librarian(图书管理员)、Conductor(指挥家),以及Mara、Elias和Elara这三个名字——出现在了高达88%的所有故事中。 其中,“Elias the lighthouse keeper”(灯塔看守人伊莱亚斯)这一特定组合,出现在三分之二的所有生成故事里。这与此前May的观察高度吻合,他曾用多个不同模型进行测试,发现同样的灯塔看守人反复出现。 这并非简单的巧合。研究人员最初推测,这可能与模型的预训练数据有关,或许“Elias the lighthouse keeper”在训练语料中本身就高频出现。然而,他们很快就排除了这种可能性——未能找到任何证据表明这一组合在预训练数据或相关文学作品中以异常频率存在。 那么,原因何在?研究人员将目光转向了AI实验室在后训练阶段普遍使用的特定数据集。他们列举了WildChat作为一个可能的例子。这是一个包含数百万条人与GPT-3.5驱动机器人对话的开源数据集,最初创建目的是帮助研究人员理解人与AI的交流方式,但后来被广泛用于训练多个模型。如果这类数据集中包含了大量讲述某个特定故事或角色的对话,模型就可能在学习中将其内化为一种“标准答案”。 研究还提出了一个更深层的理论:旨在让模型避开版权角色和成人内容的“对齐训练”,可能在无意中赋予了“Elias the lighthouse keeper”这类完全“安全”的替代选项异常高的显著性。模型或许并非真正“喜欢”这个角色,而是学会了在面临创作开放故事的任务时,选择统计学上最不会惹麻烦的选项。 值得关注的是,这个名字似乎正在通过AI生成的内容向现实世界扩散。报道指出,Elias Thorne的名字开始出现在亚马逊平台的奇幻小说主角和氛围音乐曲目的“艺术家”栏中。Daniel May还发现,Elias Thorne甚至被列为图书作者,其中包括一本声称提供替代癌症治疗信息的手册。
EntAI观察
这一现象或许反映出当前AI模型在创意输出上存在潜在的“模式崩塌”风险。当安全对齐的机制与特定训练数据的统计特性结合在一起,模型可能系统性地产出看似安全、实则单一的内容。这并非文本模型独有的问题。去年一项研究发现,图像生成模型无论收到多么离奇的提示,都会反复生成仅落入12种特定主题的图像。如今,文字生成领域也显现出类似的局限。AI模型倾向于将某个虚构身份作为通用叙事解决方案,这对于追求多样性和原创性的内容创作而言,值得警惕。 更深远地看,AI生成的“合成数据”正越来越多地进入互联网,而Elias Thorne的案例提醒我们:这些被AI创造出来的人物可能正在获得某种“数字生命”,并反过来污染未来的训练数据,形成一种自我强化的循环。
觉得有用?点个赞