嵌入式AI评估员并非良方，Hugging Face政策主管直言评估标准化任重道远
模型基准测试的困境
AI实验室已将自身声誉押注于模型基准测试之上——这套看似中立且精准的评估体系，本应成为衡量AI产品优劣的核心标尺。然而，Hugging Face政策主管Irene Solaiman在近期的TechCrunch Disrupt活动中指出，当前评估方法的复杂性仍然较高，整体仍处于不断成熟的阶段。若要让行业真正依赖这些评估结果，测试工作亟需整合为一套更为一致的科学体系。
评估的可复现性与信任危机
谈及能否信任现有测试成果，Solaiman表示：”信任是一个分量极重的词。”她进一步解释道，评估结果能否获得信任，关键在于其是否具备可复现性，以及研究者是否能获得足够深入地访问模型本身的权限——而这正是开源权重模型发挥重要作用的地方。
事实上，模型评估的可复现性问题一直是基准测试中最具争议的领域之一，至今仍是业界争论的焦点。
评估标准亟待统一
除了单个测试的有效性之外，如何跨评估结果进行横向比较，也是一个亟待解决的难题。
- Solaiman指出，当前评估方法仍在不断演进，业界尚未掌握有效比较各评估标准之间差异的方法。
- 同时，评估工具的迭代速度往往跟不上技术发展，相关生态系统的繁荣程度仍显不足。
- 业界对嵌入式评估器生态系统的呼声日益高涨，但如何界定”有效评估者”的资质标准，仍需更严格的规范化。
嵌入式评估器的争议与局限
所谓”嵌入式评估器”，即由 supposedly”中立”的第三方观察员入驻AI机构内部进行安全评估。这一概念在过去几个月里逐渐走红，背景是多家AI实验室接连遭遇安全事故，引发了公众对技术潜在危害的广泛担忧。Hugging Face也曾是此类事件的受害者之一。
与政府主导的主动监管不同，AI实验室更倾向于通过第三方评估来解决安全问题。然而，业界对这些评估机构的独立性和实际效果仍存疑虑。
- Anthropic此前宣布聘请埃森哲作为其首个嵌入式评估机构，这一决定引发了大量质疑。
- 不少批评者嘲讽这家咨询公司缺乏胜任该任务的资质与经验。
从模型评估走向系统评估
当前的评估趋势正在从单纯的模型测试，转向对整个AI系统的全面检验——这其中包括用户调用模型的框架（harness）以及智能体（agent）的运行表现。
Solaiman分享了一个关键观点：模型的性能与所使用的框架密切相关，一个性能较弱的模型配合优质的框架，完全有可能超越前沿模型的表现。
智能体评估的挑战
智能体评估的难度与成本远高于传统模型评估。Solaiman坦言：”我们拥有大量的模型评估方法，但针对框架的评估相对匮乏，针对完整智能体系统的评估也在逐步发展中——毕竟这才是当前用户获取价值的主要方式。”
走向行业统一标准的必要之路
综合来看，当前的评估领域处于一种相对无序的状态。若要使基准测试继续成为行业领导者认可的有效工具，建立一套统一、标准化的行业评估方案已势在必行，让各方能够基于同一套标准达成共识。
关注微信号：智享开源 ，及时了解更新信息。
公众号：智享开源
还没有任何评论，你来说两句吧！