26年09月07日 | 14:00
俄罗斯科学家开发了一种经济高效的语言模型错误检测方法
这项研究提高了人们对人工智能响应的信任度
斯科尔科沃科学技术研究院(Skoltech)的一个研究团队提出了一种新方法,用于检测大型语言模型中出现的“幻觉”(看似合理但实际错误的陈述),这些模型应用于搜索外部信息源的系统中。据TV BRICS的合作伙伴该研究院 网站介绍,该方法可用于开发人工智能助手以及其他与企业知识库和文档交互的解决方案。
当神经网络未能验证事实,而是根据训练数据中的样本预测文本的后续内容时,就会出现语言模型“幻觉”。虽然一些专门用于检测“幻觉”的方法可以检测到此类错误,但许多现有解决方案要么需要大量的标注数据,要么需要额外的检查。
俄罗斯研究人员提出了一种不同的方法:他们利用语言模型自身的内部信号来评估其响应的可信度。通过微调模型的注意力机制,研究人员使其严格遵循上下文,并自动纠正错误。
对于企业而言,该工具在人工智能系统错误可能带来财务、法律或声誉风险的领域尤为有用,例如银行、保险公司和法律服务机构。对于研究人员而言,这项工作也为研究语言模型的内部运作机制提供了一种新方法。
更多相关主题
TV BRICS GLOBAL
BRICS ANALYTICS
BRICS BLOGGERS TEAM