OpenAI联合173位博士推出LifeSciBench，设750道题测AI科研硬实力

🚀 每当别人谈论AI将如何改变科学时，一个核心问题总被提及：我们如何知道模型真的能像一个训练有素的科学家那样思考和解决问题？OpenAI的最新动作，或许给出了一个阶段性的测量标尺。 📌 他们发布了一个名为LifeSciBench的基准测试。这并非一群工程师坐在办公室里凭空想出的考题，而是一个由专家编写、专家评审，并深深扎根于真实世界生命科学研究的新标尺。其中包含的750个任务，由173位来自不同生命科学学科的专家科学家共同创建，每一位都具备博士水平的训练，并拥有在生物技术或制药公司直接推进药物发现项目的实战经验。 💡 这个测试的独特之处在于，它不仅仅考察AI对书本知识的记忆能力。它将科学家们真实的工作流程归纳为七个类别：证据处理、分析、设计与优化、科学推理、验证与操作、转化以及科学交流。这意味着，模型需要像一名真正的科研人员一样，经历从处理原始数据到进行科学交流的完整流程。 ⚡ 对普通人和科技从业者来说，这有什么用？ 这直接关乎未来的AI助手能否成为真正的“科研副驾驶”。在工作中，如果一个AI工具通过了LifeSciBench的考验，它或许意味着可以不只是一个搜索工具，而能帮你阅读复杂的图表和PDF文件、处理模糊且不确定的实验数据，并针对特定问题给出正确、详细且有据可依的解答。对于学生和创意工作者而言，它也许能从一个“写稿机”进化为能进行多步骤推理的复杂问题解决伙伴。 🔬 为了实现这种深度评估，数据集的设计充满了对现实复杂度的模拟。测试任务被结构化得非常精巧，就像科学家向一位知识渊博的合作者发出的请求：包含了科学提示、相关的背景或附件，以及一个自由形式的答案。更关键的是，79%的任务要求模型进行多个推理或决策步骤，平均每个任务需要走4步。仅仅靠背下提示文本是远远不够的，超过一半的任务要求模型必须学会“阅读”和综合来自附带文件的信息，这些多达1062个的附带工件涵盖了图表、PDF、表格、序列文件、结构化学文件以及网络参考资料等。 🤖 为了确保评分的严谨性，任务在被最终接受前，平均经历了6轮自我导向的自动审查，并至少完成了2轮专家评审。评审必须锚定在一个可验证的正确答案或强烈的专家共识之上，相关领域内评审者的一致性至少达到90%。评分时采用的是一套详细的、特定于任务的量规，会将预期回答拆解为具体的科学主张、计算、决策和论证，而不是打一个模糊的印象分。

EntAI观察

OpenAI此次亮出的底牌，可能反映出业界对AI行业能力评估的一次逻辑转向。过去我们习惯于看AI在数学竞赛或律师资格考试里能考多少分，但LifeSciBench的出现，意味着评测的重心开始从“AI知道什么”转向了“AI能做什么”。它把一个模糊的“科学推理能力”，拆解成了可执行的工作流和可量化的多模态信息处理能力。值得关注的是，这种依托于强专家共识和实战工作流设计的评测方式，或许将逐步成为严肃专业领域AI评测的事实标准，对那种仅靠众包人员做是非判断的打榜模式构成直接挑战。