速递"/>
2023年11月 AI速递
简介
微软在人工智能教育方面又出力作。generative-ai-for-beginners
包含一系列关于生成式人工智能的课程,包括 LLM 介绍、提示工程基础、构建文本生成/聊天应用等。
链接
简介
中科大等机构的研究者们提出了一种名为「啄木鸟(Woodpecker)」的通用架构,用于解决多模态大语言模型(MLLMs)输出的视觉幻觉问题。这种幻觉问题指的是模型的描述与图片内容不相符,可能包括属性幻觉和目标幻觉。
Woodpecker是一个免训练的即插即用的架构,它通过修正MLLM输出的幻觉问题,并输出检测框以表明相应目标的存在。它可以在不同的场景下修正幻觉,包括小对象、复杂计数场景和目标属性。研究者还提供了Woodpecker的Demo供读者测试使用。
研究结果表明,在应用Woodpecker修正后,不同的MLLMs在准确率指标上都有不同程度的提升。在随机设定下,Woodpecker分别为MiniGPT-4和mPLUG-Owl带来了30.66%和24.33%的提升。它还在更全面的验证集上测试了对属性幻觉的修正能力,表现出色。
Woodpecker的修正还提升了描述的准确性,并增加了细节丰富度。实验结果表明,这个框架有效地修正了描述中的幻视问题,提供了更多的位置信息,从而提高了细节丰富度。
这项研究有望改善多模态大语言模型的可靠性,减少视觉幻觉问题对模型性能的负面影响。
链接
论文地址: .16045.pdf
项目地址:
更多推荐
2023年11月 AI速递
发布评论