伦敦（路透社）-根据路透社看到的数据，一些最著名的人工智能模型在网络安全弹性和歧视性输出等关键领域未达到欧洲法规的要求。
在OpenAI于2022年底向公众发布ChatGPT之前，欧盟就新的人工智能法规进行了长期辩论。破纪录的受欢迎程度以及随之而来的公众对此类模型存在风险的讨论，促使立法者围绕“通用”人工智能（GPAI）制定具体规则。
现在，由瑞士初创公司latticflow及其合作伙伴设计的一种新工具，在欧盟官员的支持下，测试了meta和OpenAI等大型科技公司开发的数十个类别的生成式人工智能模型，这些模型符合欧盟广泛的人工智能法案，该法案将在未来两年内分阶段生效。
latticflow周三发布的排行榜显示，阿里巴巴、Anthropic、OpenAI、meta和Mistral开发的模型的平均得分都在0.75以上，每个模型的得分在0到1之间。
然而，该公司的“大型语言模型（LLM）检查器”发现了一些模型在关键领域的缺点，突出了公司可能需要转移资源以确保合规性的地方。
不遵守《人工智能法案》的公司将面临3500万欧元（3800万美元）的罚款，相当于全球年营业额的7%。
不同的结果
目前，欧盟仍在试图确定如何执行《人工智能法案》中关于ChatGPT等生成式人工智能工具的规定，并召集专家在2025年春季之前制定一份管理该技术的行为准则。
但是，LatticeFlow与瑞士苏黎世联邦理工学院（ETH Zurich）和保加利亚研究机构INSAIT的研究人员合作开发的测试，提供了一个早期指标，表明科技公司在哪些特定领域可能违反法律。
例如，在生成式人工智能模型的开发过程中，歧视性输出一直是一个问题，反映了人类在性别、种族和其他领域的偏见。
在对歧视性输出进行测试时，latticflow的LLM Checker给OpenAI的“GPT-3.5 Turbo”给出了相对较低的0.46分。在同一类别中，阿里云的“qq 1.5 72B聊天”模式仅获得0.37分。
在“提示劫持”测试中，LLM Checker给meta的“Llama 2 13B Chat”模型打了0.42分。“提示劫持”是一种网络攻击，黑客将恶意提示伪装成合法的，以提取敏感信息。在同一类别中，法国初创公司Mistral的“8x7B Instruct”模型获得了0.38分。
由谷歌支持的Anthropic开发的模型“Claude 3 Opus”获得了最高的平均分，0.89分。
该测试是根据人工智能法案的文本设计的，并将扩展到包括引入的进一步执法措施。LatticeFlow表示，LLM Checker将免费提供给开发人员，以在线测试其模型的合规性。
该公司首席执行官兼联合创始人Petar Tsankov告诉路透社，测试结果总体上是积极的，并为公司提供了一个路线图，让他们根据人工智能法案对模型进行微调。
他表示：“欧盟仍在制定所有合规基准，但我们已经可以看到这些模式存在一些差距。”“随着对合规优化的更多关注，我们相信模型提供商可以做好充分准备，以满足监管要求。”
meta拒绝置评。阿里巴巴、Anthropic、Mistral和OpenAI没有立即回应置评请求。
虽然欧盟委员会无法验证外部工具，但该机构在法学硕士检查器的整个开发过程中都得到了通知，并将其描述为将新法律付诸行动的“第一步”。
欧盟委员会发言人表示：“委员会欢迎这项研究和人工智能模型评估平台，这是将欧盟人工智能法案转化为技术要求的第一步。”
（1美元=0.9173欧元）
(马丁·库尔特报道；编辑：Hugh Lawson)
×
