欢迎来到看个球，您的专业体育直播平台
与传统的基准测试不同，GeneBench-Pro 旨在评估人工智能模型在模拟真实科研情境下的实际应用能力。它侧重于模型处理“不确定、不完整，甚至夹杂干扰信息的数据”的能力，并要求模型基于这些信息进行判断和分析，而非仅仅考察模型是否记住了知识或能否遵循既定流程完成任务。
GeneBench-Pro 涵盖了基因组学、定量生物学和转化医学等多个领域，包含 总计 129 道测试题。这些题目被划分为 10 个主要范畴和 21 个子范畴，涉及统计遗传学、群体遗传学、功能基因组学、蛋白质组学等多个细分方向。每道题目都为模型提供了一份接近真实研究场景的数据集，并附带简要的实验背景信息和一个与后续决策相关的目标问题。模型需要自主完成数据探索、选择合适的分析方法，并在分析过程中不断调整策略，最终得出答案。
为解决传统长流程基准测试中常见的评分不准确问题，OpenAI 在开发 GeneBench-Pro 时采用了合成数据作为关键构建要素。如果直接使用历史真实数据出题，可能存在多条有效的分析路径，导致模型即使采用错误的方法也可能偶然获得正确答案。
通过使用合成数据，OpenAI 可以完全掌控底层因果关系和数据生成过程，从而更精确地评估模型是否真正理解了问题，而不是仅仅走了“捷径”。
目前，OpenAI 已在 Hugging Face 上公开了 10 道具有代表性的 GeneBench-Pro 示例题目，并提供了一个交互式界面供外部研究人员进行体验。未来，OpenAI 计划向 Artificial Analysis 开放其中 50 道题目，以进行独立的第三方评估，用以验证不同模型在这一基准测试中的性能表现。
