谷歌Deepmind_斯坦福大学研究人员推出AI事实核查工具
原标题:谷歌Deepmind_斯坦福大学研究人员推出AI事实核查工具
导读:
电视剧小日子有关朱劲草的剧情真是越看越生气最新剧情朱劲草被高夏菁诬陷丢了工作顾茉莉让他把那份录音放出来戳穿高夏菁这个心机女的真面目但是朱劲草却不肯说是心疼高夏菁的儿子果果怕他之...
电视剧《小日子》,有关朱劲草的剧情,真是越看越生气!最新剧情,朱劲草被高夏菁诬陷,丢了工作,顾茉莉让他把那份录音放出来,戳穿高夏菁这个心机女的真面目,但是朱劲草却不肯,说是心疼高夏菁的儿子果果,怕他....
IT之家 3 月 31 日消息,无论当下 AI 聊天机器人有多么强大,都会或多或少存在一大饱受诟病的行为 —— 以看上去令人信服的方式,向用户提供与事实不符的回答。简单来说,AI 有时会在回答中“满口跑火车”,甚至“造谣”。
图源 Pixabay
防止 AI 大模型出现这种行为并非易事,且是一项技术性的挑战。不过据外媒 Marktechpost 报道,谷歌 DeepMind 和斯坦福大学似乎找到了某种变通办法。
研究人员推出了一种基于大语言模型的工具 —— 搜索增强事实评估器(IT之家注:原名为 Search-Augmented Factuality Evaluator,简称 SAFE),可对聊天机器人生成的长回复进行事实核查。其研究结果与实验代码、数据集现已公布,点此查看
该系统可通过四个步骤对聊天机器人生成的回复进行分析、处理和评估,以验证准确性和真实性:将答案分割成单个待核查内容、对上述内容进行修正、再与谷歌搜索结果进行比较。随后,该系统还会检查各个事实与原始问题的相关性。
为评估其性能,研究人员创建了包含约 16000 个事实的数据集 LongFact,并在来自 Claude、Gemini、GPT、PaLM-2 的 13 个大语言模型上测试了该系统。结果显示,在对 100 个有争议的事实进行的重点分析中,SAFE 的判定在进一步审查下正确率达到 76% 。与此同时,该框架还具备经济性优势:成本比人工注释便宜 20 多倍。
- 版权所属:王牌阁
- 本文地址:http://line.uexe.cn/14668.html
- 版权声明:原创文章,转载时必须以链接形式注明原始出处及本声明。