科技巨头OpenAI吹嘘其人工智能转录工具Whisper具有接近“人类水平的稳健性和准确性”。
但对十几名软件工程师、开发人员和学术研究人员的采访显示，Whisper有一个重大缺陷：它很容易编造大块文本，甚至是整个句子。
这些专家说，一些虚构的文字——在业内被称为幻觉——可能包括种族评论、暴力言论，甚至是想象出来的医疗方法。
专家表示，这种捏造是有问题的，因为Whisper在世界各地的许多行业都被用于翻译和转录采访，为流行的消费技术生成文本，以及为视频创建字幕。
他们表示，更令人担忧的是，医疗中心急于使用基于whisper的工具来记录患者与医生的咨询，尽管OpenAI警告称，该工具不应用于“高风险领域”。
这个问题的全面程度很难辨别，但研究人员和工程师说，他们在工作中经常遇到Whisper的幻觉。
例如，密歇根大学（University of Michigan）的一名研究人员对公共会议进行了研究，他说，在他开始尝试改进该模型之前，他在检查的每10个音频转录中发现8个存在幻觉。
一位机器学习工程师表示，在他分析的100多个小时的Whisper转录中，他最初发现了大约一半的幻觉。
第三位开发人员说，他在用Whisper编写的2.6万份抄本中，几乎每一份都发现了幻觉。
即使在录制良好的短音频样本中，问题仍然存在。计算机科学家最近的一项研究发现，在他们检查的13000多个清晰音频片段中，有187种幻觉。
研究人员表示，这种趋势将导致数百万份录音中出现数万份错误转录。
阿隆德拉·纳尔逊（Alondra Nelson）说，这样的错误可能会产生“非常严重的后果”，特别是在医院环境中，他曾在拜登政府的白宫科技政策办公室（Office of Science and Technology Policy）担任主任，直到去年。
“没有人希望误诊，”新泽西州普林斯顿高级研究所（Institute for Advanced Study）的教授尼尔森说。
“应该有一个更高的标准。”
这种幻觉的普遍存在导致专家、倡导者和OpenAI前员工呼吁联邦政府考虑制定人工智能法规。
他们说，OpenAI至少需要解决这个缺陷。
“如果公司愿意优先考虑这个问题，这个问题似乎是可以解决的，”总部位于旧金山的研究工程师威廉·桑德斯（William Saunders）说。今年2月，由于担心OpenAI的发展方向，他退出了OpenAI。“如果你把它放在那里，人们对它的功能过于自信，并将它集成到所有其他系统中，这是有问题的。”
OpenAI发言人表示，该公司一直在研究如何减少幻觉，并对研究人员的发现表示赞赏，并补充说，OpenAI在模型更新中纳入了反馈。
虽然大多数开发人员认为转录工具会拼错单词或犯其他错误，但工程师和研究人员表示，他们从未见过另一种人工智能转录工具像Whisper一样产生如此多的幻觉。
康奈尔大学的Allison Koenecke教授和弗吉尼亚大学的Mona Sloane教授检查了他们从TalkBank（卡耐基梅隆大学托管的研究存储库）获得的数千个简短片段。
他们确定，近40%的幻觉是有害的或令人担忧的，因为说话者可能被误解或歪曲。
在他们发现的一个例子中，一个说话的人说，“他，那个男孩，我不确定，要拿伞。”
但转录软件补充说：“他取了一个十字架的一大块，一小块……我敢肯定他没有恐怖刀，所以他杀了很多人。”
研究人员不确定为什么Whisper和类似的工具会产生幻觉，但软件开发人员表示，这种幻觉往往发生在停顿、背景声音或音乐播放中。
