Donut：使用 Donut 进行无 OCR 文档理解

文档理解"/>

Donut：使用 Donut 进行无 OCR 文档理解

由于 PDF 和文档扫描包含大量非结构化数据，因此可视化文档理解 (VDU) 是深度学习和数据科学中备受争议的新兴领域。现代模型，如 LayoutLM、LayoutLMv2 和 LayoutLMV3 使用变压器，并在这项任务上取得了巨大的成就。这些深度学习模型架构是开源的，由 HuggingFace 制作。

与其他型号的区别

这项工作建议在一个步骤中执行这两项不同的工作，而不是采用两阶段方法的其他研究，首先提取文本，然后利用利用文本作为输入和输出所需文档信息的模型。

由于这种差异，这项工作在速度方面优于以前的工作。

关于模型架构

视觉编码器

使用SWIN转换器，输入图像（HxWxC）被转换为补丁，然后转换为嵌入特征（Nxd），其中N是最终特征图的宽度x高度的大小。

作者未指定所提供图像的大小。

这就是我们如何将来自视觉编码器的图像补丁嵌入到上下文中。

文本解码器

对于解码器，作者使用了多语言 BART 架构。由于内存限制，他们只