同一个请求，不同的答案：如何揪出生成式人工智能的小脾气 + test

• 快，但并不总是可预测
• 会自己写的测试
• 主要麻烦：不一致
• 来自招聘的一课
• 一个证据基础，多种视角
• 决定权仍在人
• 知道规则还不够
• 要记住什么
• 五个问题：你有多信任人工智能的回答？（测试）

⇑快，但并不总是可预测

生成式人工智能越来越多地用于评估求职者、服务客户和辅助商业决策。它最大的优势是速度。但它有一个容易被忽视的弱点：问题措辞、语言或语境稍有变化，它的反应就可能截然不同。对企业来说，这意味着一项双重任务。它们既要发现这类异常，也需要文档来证明风险已经过测试并处于可控状态。

⇑会自己写的测试

由欧洲创新委员会支持的 QuantPi 项目着手解决这个问题。它推出了一个围绕 PiCrystal 技术构建的生成式人工智能风险管理平台。该工具自动生成测试套件，检查模型的行为，并把结果转化为可用于审计、并与欧盟《人工智能法案》要求相对应的文档。平台从三个角度审视系统：输出不稳定、偏见，以及能否提供可在审计中出示的证据。

⇑主要麻烦：不一致

这类测试中最常发现什么问题？QuantPi 政策与资助负责人卢卡斯·比林格（Lukas Bieringer）毫不绕弯地回答：“通常是在输入出现现实中的变化时表现不一致或不稳定——同一类提示，会因措辞、语言或语境不同而产生实质上不同的输出。”

在实践中，一个系统可能顺利通过简单的基准测试，却在遇到真实用户时出问题，因为这些用户按自己的方式表达需求。直到这时，偏见和群体之间的不平等才会显现出来，而这些差异在平均结果中是看不到的。

⇑来自招聘的一课

团队在一个具体案例上验证了这一点。他们评估了一个基于大语言模型的候选人推荐系统，合作伙伴是招聘平台 Stepstone 和人工智能保障实验室 TÜV AI.Lab。这一结论对任何简历可能进入此类系统的人都很重要。测试招聘中使用的人工智能工具，需要规模大且具有代表性的数据集。只有这样才能进行交叉性测试，检查不同群体相互重叠的特征。平均化在这里就像一道帘子：它遮住了系统对各个细分群体的处理方式中的重要差异。

⇑一个证据基础，多种视角

QuantPi 的第二个想法，是把证据层与展示层分开。这源于一个简单的观察：公司里不同的人，对同一个系统需要不同的信息。

• 数据科学家需要按指标和子群体划分的详细测试结果。
• 法律专家需要对规则具体条款的引用。
• 治理负责人需要整个系统组合的概览。
• 董事会需要几项剩余风险指标。

为了避免这些视角彼此脱节，有一条规则。比林格解释说：“关键的设计原则是：所有视角都必须来自同一个统计证据基础，这样董事会层面的任何表述都能追溯到具体的测试结果。”

⇑决定权仍在人

自动化并不意味着人的判断变得多余。由人来界定系统的用途，选择适用哪种公平或安全的定义，设定接受阈值，并决定是部署、推迟还是撤回某个工具。角色分工很明确：平台衡量风险，负责任的人决定可以接受到什么程度。

只做一次的测试也不可能管用到永远。每当情况发生变化，就要启动监测：模型更新后、提示词修订后，或出现新的检索索引后。输入漂移、输出漂移和规则变化同样需要重新评估，因为其中任何一项都可能使先前的结果失效。

⇑知道规则还不够

据比林格说，对许多公司而言，最大的障碍已不再是对规则的了解。他坦率地说：“他们做不到的是，拿出经得起认证机构或审计人员检验的技术合规证据——尤其是对生成式系统而言，传统的基准报告不够用，而且迄今缺少统一标准。”QuantPi 的平台正是为了填补这一空白，把技术测试转化为不同团队在部署前后都能使用的证据。

⇑要记住什么

生成式人工智能可能很有脾气：同一个问题换种问法，可能得到完全不同的答案，而平均的测试结果也可能掩盖对特定群体的不平等对待。QuantPi 项目表明，要对这类系统做出扎实的评估，需要自动化、可重复的测试，具有代表性的数据，以及从分析师到董事会所有人共用的一个证据基础。不过，哪种风险可以接受，最终仍由人说了算。

⇑五个问题：你有多信任人工智能的回答？（测试）