这项由阿联酋东谈主工智能大学（MBZUAI）与IBM斟酌院联络开展的斟酌，以预印本款式于2026年5月12日发布在arXiv平台，论文编号为arXiv:2605.12623。有兴致深入了解的读者可通过该编号查阅完好论文。
**一、 故事从一谈"翻译难题"提及**
假定你手边有一份泰语的法律合同、一份阿拉伯语的学术阐发、再加上一份用缅甸文写成的医疗纪录。你想让电脑帮你把这些文献里的笔墨、表格、图表全部准确索取出来，最佳连版面结构也一并保留。听起来不难？实践上，这恰是现在东谈主工智能范畴最辣手的问题之一。
现存的文档交融系统在英语上进展格出门色，但一朝遭逢资源匮乏的小语种，准确率就会断崖式着落——偶然以至跌去40%到60%。形成这一窘境的根蒂原因，在于考试数据严重短缺。莫得迷漫的标注数据，再聪慧的模子也无从学起。
更辣手的是，现存的数据制作方式自己就存在恶性轮回：要么靠东谈主工标注，费时戮力，根蒂无法掩饰几十种言语；要么靠已有的AI模子自动打标签，但这些模子自己就对英语有偏见，它们给出的标注一样带着偏见，用这些数据考试出来的下一代模子，偏见只会有增无减。这就好比一个只读过中告示的憨厚，你让他去教学生认日文，他教出来的学生当然也只会华文。
恰是为了突破这个死轮回，阿联酋东谈主工智能大学和IBM斟酌院的联络团队提倡了DocAtlas——一套全新的多言语文档交融框架，方针是让机器信得过读懂来自寰宇各地的文献，掩饰82种言语、9种不同任务。
**二、 传统作念法的三条死巷子**
要交融DocAtlas的价值，得先搞清爽前东谈主是如何作念的，以及为什么作念不下去。
第一种作念法是东谈主工标注。斟酌东谈主员把文档打印出来（大概在屏幕上），然后东谈主工框出每一段笔墨、每一张表格、每一个标题，告诉机器"这是段落""那是表格"。这种方式质地最高，但代价极其高尚。一个东谈主一天能标注几许页？一个团队能掩饰几许种言语？FUNSD这个经典数据集只须199份文档，只复古一种言语，XFUND膨胀到7种言语，也只须1300份。关于82种言语来说，东谈主工标注根蒂是杯水救薪。
第二种作念法是合成生成。既然真实文档难以标注，那就我方造文档吧——把笔墨放在预设好的位置上，位置自己即是标注。这种方式省去了东谈主工，但造出来的文档太"假"，缺少嵌套表格、混排图文这些真实寰宇里常见的复杂结构，考试出来的模子一遭逢真实文献就懵了。
第三种作念法是让AI模子自动打标签。用一个已有的布局检测模子，扫描文档图片，框出各个区域，再贴上标签。这看似省事，却引入了前边说的恶性轮回——模子的偏见径直浑浊了标注数据。DocBank即是这样作念的，领有50万份文档，但标注质地受制于检测模子的武艺上限。
斟酌团队还提到了另一条路：渲染驱动的标注要领。已有的WordScape款式就沿着这个地方走，从Common Crawl（一个掩饰全球网页内容的超大型数据库）里捏取Word文档，通过给文档里的不同组件染色来识别它们的位置。这个念念路没错，但履行上存在几个彰着疏漏：用LibreOffice把Word文档转成PDF时，会因为字体替换和笔墨重排产生"渲染漂移"，也即是说颐养前后一样的笔墨可能出现在不同位置；笔墨索取和位置框对不上，莫得几何对皆保证；关于阿拉伯语、希伯来语这类从右向左书写的笔墨，十足莫得复古；图表被当作不透明的图片一概贬责，内容无从索取。
DocAtlas的中枢孝顺，恰是在继承了渲染驱动这条路的合理内核之后，把上述每一个疏漏都堵上了。
**三、 "差值渲染"：像摄影机找不合并样精信服位**
DocAtlas的第一条数据出产活水线，贬责的是真实的Word文档（.docx样式），数据起原一样是Common Crawl这个公开的网页归档库。
通盘经由不错用一个日常的譬如来交融：假定你在一张空缺画布上画了一幅画，现在你想知谈画里每一个元素的精准位置。最笨的主见是让东谈主肉眼去框。聪慧的主见是：先拍一张原版相片，再把某个你感兴致的元素（比如天外）涂成鲜红色，再拍第二张相片，然后把两张相片叠在一皆作念减法——那边出现了红色，那边即是天外。
DocAtlas即是这样干的，只不外操作对象是Word文档。团队先从OpenXML样式（Word文档的里面代码样式）里识别出文档里的种种组件——标题、正文、表格、图片、页眉等等——然后通过Word的表情属性，给不同类型的组件注入不同的激情代码。接着用微软官方的Word引擎（贯注，不是LibreOffice）分别渲染出"染色版"和"原版"两份PDF，再用图像贬责器用（OpenCV）对两张图作念逐像素相减。那边有激情相反，那边即是被标注的组件，并且不错通过激情径直判断是哪类组件。
这种"差值渲染"要领有一个相配关节的上风：它能诀别"注入的激情"和"文档里本来就有的激情"。昔时的单次染色法作念不到这少许——如若文档本来就有红色配景，那注入的红色标记就混进去了，根分内不清。差值法例十足绕过了这个问题，因为只须在两次渲染之间发生变化的像素，才被作为标注收尾。
位置框信服之后，还需要把笔墨内容和位置对应起来。团队同期从OpenXML里索取文档级别的笔墨，再用Docling器用（一个基于规定的PDF知道器，不是神经鸠集模子）从PDF里索取页面级别的笔墨和位置，然后用交并比（IoU，一种揣度两个区域叠加进度的筹办）把每个词语匹配到对应的组件区域里。当多个组件区域有叠加时，系统会凭证表情置信度来决定优先级，确保结构映射的一致性。
通盘这些信息最终被序列化成一种叫作念DocTag的和谐样式。DocTag是一种雷同XML的标记言语，每个标签同期包含组件类型、几何位置和笔墨内容。这种样式比HTML更好，因为HTML不保存位置信息；比Markdown更好，因为Markdown会把档次结构压扁。有了DocTag，一张页面就变成了一个扁平的标签序列，每个标签告诉模子"这里有什么、在那边、写的是什么"，从而完结版面检测、阅读法式收复、内容索取的多任务联络考试。
在数据质地限定上，团队还作念了两轮筛选。第一轮用fastText揣度文档言语，再用5-gram Kneser-Ney言语模子规画困惑度（困惑度不错交融为"模子对这段笔墨有多困惑"，困惑度越高证实笔墨质地越差），开导阈值为120，过滤掉38%的低质地页面，保留94%以上的高质地数据。第二轮规画"标注可靠性分数"，揣度通过原生XML信号（而非启发式规定）得手标注的字符比例，低于0.6分的页面径直剔除，最终约有15%的页面因视觉特殊信号（如多数空缺、渲染虚伪）被过滤。
在服从上，整条活水线在一台宽泛的苹果M2 Pro条记本上运行（莫得GPU加快，莫得散布式规画），每天能贬责10万张以上的标注页面，100万个样本不到72小时就能跑完。
**四、 为"从右往左"的笔墨有益开辟第二条路**
阿拉伯语、希伯来语、波斯语、乌尔都语，都是从右向左书写的言语。这类言语在现存PDF知道器用里广大存在双向文本知道失败的问题——器用把从右往左的笔墨法式搞反，大概十足无法识别段落结构。因此，仅靠真实Word文档的活水线，无法掩饰这类言语。
斟酌团队为此有益瞎想了第二条活水线，用合成生成的方式来补足这个缺口。这条活水线的输入是结构化的电子书和网页文献（EPUB、HTML、XML样式），先用知道器用把内容颐养成圭臬的Docling JSON样式，给每个内容元素打上标签并赋予初步的位置框，然后通过205个基于LuaTeX（一种专科排版引擎）的模板，把这些内容渲染成精准排版的PDF文档。
这些模板每一个都针对特定言语的排版法式瞎想：字体礼聘盲从各言语的书写传统（阿拉伯语用Amiri、Scheherazade等字体；希伯来语用David、Narkisim等；波斯语用Nazanin、Lotus等；乌尔都语用Nastaliq、Naskh等），版面参数涵盖页面地方、列数（1到3列）、字号（9到14磅）、激情、边距、页眉页脚表情，以及关节的双向笔墨限定原语。
在渲染过程中，系统通过三次编译来保证位置精度：第一次编译信服初步版面，第二次编译把每个元素的精准坐标写入.pos文献，第三次编译生成最终的PDF并考据位置。坐标经过系统性颐养，从LaTeX的缩放点（sp）到PDF的点（pt）再到图像的像素（px），确保最终标注框与实践渲染位置十足吻合。整条活水线在单核CPU上能达到每分钟183页的费解量。
质地筛选过滤掉了三类问题页面：编译前后坐标漂移杰出2pt的页面（占原始输出的15.2%）、模板排版错位（如元素叠加或笔墨溢出，占8.9%）、字体渲染失败（如字形缺失或字形散乱词语，占2.1%）。最终这条活水线生成了9036份文档共19.5万张页面，掩饰阿拉伯语、希伯来语、波斯语、乌尔都语四种右向左书写的言语。
**五、 数据总量与组成：一个掩饰82种言语的巨型语料库**
两条活水线合并之后，原始语料库包含101万份文档，548万张页面，进步136种言语。其中第一条活水线（真实Word文档）孝顺了100万份文档、529万张页面，第二条活水线（合成右向左文档）孝顺了9036份文档、19.5万张页面。
数据散布呈典型的长尾形态：英语、俄语、西班牙语占据高频区间，约占总页数的60%；希伯来语、泰语、缅甸语、高棉语等中低资源言语，每种也孝顺了杰出5万张页面，确保了在种种言语类型上的有用掩饰。经过质地筛选和难度感知采样，最终考试语料库包含36万张页面，掩饰82种言语、31类结构组件、25个以上内容范畴（包括医疗、法律与政府、金融、科学等）。
在标注组件类型上，高频标签包括宽泛文本、表格、一级标题，低频但热切的标签包括数学公式、表单字段、参考文献列表，后者为考试模子识别淡薄但关节的文档元素提供了监督信号。
通盘语料库来自公开鸠集内容，均使用CC-BY 4.0、CC0或人人范畴等宽松许可左券。斟酌团队还部署了自动化的个东谈主秘籍信息（PII）检测经由，使用Microsoft Presidio器用，引诱spaCy定名实体识别和自界说正则抒发式，识别并过滤了包含三条及以上个东谈主信息（如姓名、电话、政府证件号、地址、金融符号符）的文档，共移除94.2万份文档（占运行鸠集量的5.15%）。东谈主工抽查1000份保留文档，漏检率仅为0.1%。
**六、 一把测量多国文档交融武艺的"量尺"**
有了考试数据还不够，还需要一套严格的测试圭臬，才能知谈哪个模子果真利弊、哪个模子仅仅在本言语上刷了高分。DocAtlas同期构建了一个多言语基准测试集，包含5862张页面，掩饰82种言语、9项评测任务。
页面中式盲从"难度分层"原则：用ResNet-50（一种图像特征索取鸠集）索取每张页面的视觉特征，再用FAISS聚类算法把相似页面聚在一皆，然后在每个聚类里面按难度（详尽探究表格占比、公式密度、图表数目、字体种种性、图片比例等要素）分红浮浅、中等、艰苦三档，世界杯官方认证平台从中均匀采样，每种言语最多取100张页面，共5575个样本。此外，团队还手工挑选了201份含有高难度公式的PDF，非凡加多144个公款式本。
图表数据是单独生成的：先用Qwen3-VL模子生成多言语主题，再用Matplotlib或Plotly渲染成柱状图、折线图、饼图等多种图表类型，经GPT-4o初步筛选后，由三位范畴大众交叉考据结构完好性、LaTeX公式对皆、右向左阅读法式，达到94.2%的标注一致率（Cohen's κ=0.89）。
9项评测任务分别是：端到端全页面知道（把一张页面完好颐养为Markdown或DocTag样式）、笔墨识别、表格索取、公式转录、图表知道、阅读法式收复，以及三项样式颐养子任务（图表→HTML、公式→LaTeX、表格→HTML）。评测筹办掩饰归一化编著距离（揣度揣度笔墨与真实笔墨的相似度）、TEDS（树编著距离相似度，有益评估表格结构的准确性）、CDM（字符检测匹配，用于公式评估）和图表分数（将图表先转成HTML表格再用TEDS评估）。
**七、 16个模子的大考：谁是多言语文档交融的信得过铁汉？**
斟酌团队在这套基准上评测了16个现时源头进的模子，按照定位分为三类。
第一类是通用多模态大言语模子，包括Gemini-2.0-Pro、GPT-4o、Qwen3-VL（3B参数版）、Qwen2.5-VL（2B版）和InternVL3.5（2B版）。这类模子自己莫得有益针对文档版面作念过考试，格外于"全科生"选手。
第二类是大众文档模子，包括SmolDocling（2.56亿参数）、Granite-Docling（2.58亿参数）和DotsOCR（3B参数）。这类模子体量较小，但有益针对文档版面知道作念了考试，属于"专科生"。
第三类是OCR专项系统，包括PaddleOCR-VL（1B参数）、DeepseekOCR（3B参数）、MonkeyOCR-pro（1.2B参数）、Dolphin（4亿参数）、Nanonets-OCR-s（4B参数）、Nanonets-OCR2（3B参数）、Chandra（9B参数）和MinerU2.5（1.2B参数），以及DocAtlas团队微调过的DocAtlas-DeepSeek（3B参数）。
评测收尾呈现出几个清爽的法令。在总体分数上，DocAtlas-DeepSeek以83.37%位居第一，DeepseekOCR以81.66%紧随自后——要知谈DeepseekOCR只须3B参数，能达到这个得益格外令东谈主诧异，证确切文档交融这个任务上，参数目大不等于性能强。GPT-4o的总分是75.30%，远不如这些专科OCR系统。
笔墨识别和结构化内容索取之间存在弘远畛域。顶尖模子的笔墨编著距离在0.068到0.095之间（越低越好），证实笔墨识别还是格外准确；但表格TEDS分数广大停留在71%到73%，并且岂论言语如何变化，这个天花板简直依样葫芦。这意味着表格的空间推理武艺，而非笔墨阔别武艺，才是现时文档交融的信得过瓶颈。
高资源言语和低资源言语之间的落差摄人心魄。英语、俄语、西班牙语等主空话语的准确率牢固在80%到95%，波动很小；而低资源言语的准确率区间是20%到85%，中位数频频低于40%。换句话说，关于那些考试数据匮乏的言语，即使是源头进的模子，也凡俗只可答对不到一半。
从言语家眷维度看，印欧语系和基里尔字母（俄语、乌克兰语等）言语进展最佳，准确率在80%到87%之间；日语家眷（26.9%到70.5%）和南亚语系（Austroasiatic）进展最差，即使是最顶级的模子也举步维艰。团队合计，这证实形态复杂的言语和表意笔墨体系，显现了现存视觉特征学习的根人性颓势。
在图表索取这项任务上，专科OCR系统和通用多模态大模子之间出现了戏剧性的分化。Gemini-2.5-Flash在15种言语上平均得分61.82%，跨言语一致性最佳；而DeepseekOCR在英语图表上得分87%，到了泰语、阿拉伯语、意大利语就跌到8%到17%。SmolDocling在折线图上的准确率接近于零（0.038），证实仅靠笔墨索取根蒂搪塞不了图表交融，这项任务需要信得过的视觉推理武艺。
同期，斟酌团队系统分析了16个模子在5345份文档上犯的88036个虚伪，归纳出12种虚伪类型，其中最主要的四种分别是：表格跨行跨列虚伪（占15.7%，表格里的合并单位格贬责不合）、样式虚伪（14.6%，粗体斜体标签弄错、破折号字符混用）、字符编码虚伪（13.2%，Unicode归一化问题，比如不详号用了不同的Unicode字符）、内容遗漏（13.2%，带连字符的词语和列表分隔符被丢失）。
**八、 如何让模子学会新言语而不健忘旧言语？**
考试数据和测试基准都有了，接下来最关节的问题是：如何把这些数据用起来，让已有的OCR模子信得过学会新言语，同期又不把昔时学过的英语等言语忘掉？
这就像教一个还是能干英语的东谈主学华文——如若学习方式不合，他学会华文的同期可能把英语忘了，这叫"灾难性渐忘"。团队系统比较了三种考试战略。
第一种战略是全页面监督微调（Full-Page SFT）：把每张页面的图片和对应的DocTag/Markdown笔墨配对，径直考试模子在看到页面图片霎生成正确的结构化笔墨。这是最径直的要领，格外于让学生反复作念整卷造就题。
第二种战略是组件级监督微调（Component-level SFT）：把页面剪辑成一个个小区域（段落、表格、图表、公式），针对每个组件单独考试。这格外于把整卷题目拆成一谈谈单题来练。
第三种战略是径直偏好优化（DPO）：这是一种不同于宽泛微调的考试范式。它的中枢念念路是：关于合并张页面图片，给模子看两个谜底——一个是由渲染驱动的标注系统生成的正确谜底（作为"正样本"），一个是模子我方原来给出的回应（作为"负样本"）——然后考试模子偏好正确谜底。这格外于不径直告诉学生"背这个谜底"，而是让学生在两个谜底里辨别哪个更好，从而培养判断力。
除了礼聘哪种考试战略，团队还斟酌了另一个变量：考试哪些参数。全量微调（通盘参数都更新）后果最猛，但反作用最大；LoRA（低秩适应）是一种参数高效的要领，格外于在模子里插入一个小"适配器"，只更新这个适配器，原模子参数基本不动，从而大幅减少渐忘。LoRA又有几个变体：更新全部层、只更新MLP层、只更新MLP的门控和下投影、更新通盘QKV层、只更新QKV层。
详尽评测收尾清爽地揭示了一个法令。全量SFT在新言语高涨幅最大（表格TEDS升迁13.6个百分点），但基础言语性能下降幅度也最大（–12.1个百分点）。组件级SFT的新言语增益更大，但基础言语渐忘也更严重，严重时下降杰出21个百分点——意味着模子把昔时学的东西简直全忘光了。
开云app在线体育中国世界杯官网只更新QKV层的LoRA变体达到了最优的收益-渐忘均衡：新言语笔墨编著距离改善0.021，基础言语不降反升，改善0.011个百分点。团队对此的解释是：QKV参数限定的是"重眼光路由"，即模子在贬责一段笔墨时决定把重眼光放在那边，颐养这部分参数能匡助模子学会跨言语的重眼光分拨，而不会侵扰MLP层（认真输出词汇散布），是以不会导致渐忘。
DPO战略在四个被评测的模子上（Qwen2.5-VL、Nanonets-OCR、DotsOCR、DeepseekOCR）都进展出了一样的法令：在域内言语（考试时见过的言语）升迁约1.8%到1.9%，在域外言语（考试时没见过的言语）也升迁约1.4%到1.8%，基础言语降幅低于3%。这是独逐一种能同期改善新言语和基础言语性能的要领，突破了"学新忘旧"的法令，因为把模子我方的虚伪谜底作为负样本，格外于给模子保留了对原有武艺的牵挂锚点。
更进一步，团队还有益比较了DPO用不同正样本的后果：用渲染驱动的真实标注作为正样本，和用GPT-4o的输出作为正样本，收尾相反显赫。GPT-4o蒸馏带来的域内增益只须0.4个百分点，域外性能反而下降了0.7个百分点。原因在于，GPT-4o自己对低资源言语也存在系统性偏见：会在某些言语里产生虚伪的变音象征、把从右往左的列法式搞反。这些虚伪通过蒸馏传递给了被考试的模子，浑浊了跨言语泛化武艺。这一收尾解释，驱动DPO后果的根蒂不是DPO算法自己，而是背后那套模子无关的标注活水线。
DocAtlas-DeepSeek在两个外部测试集（DocPTBench和OmniDocBench，均以英文文档为主，包含拍摄或扫描的文档，考试时十足没见过）上也展示了迁徙泛化武艺：编著距离分别从22.1%降到20.7%、从0.137降到0.122。这证实通过DPO学到的跨言语重眼光路由，不仅在考试见过的言语上有用，在考试域除外也能走漏作用。
从言语家眷维度看DPO的增益，不错发现真谛的散布法令：汉藏语系、日语家眷、南亚语系获益最大（汉藏语系笔墨增益高达40%），可能是因为这些言语的视觉特征之间存在分享结构，有助于学问迁徙；印欧语系和乌拉尔语系增益较小（低于5%），证实这些言语在考试前还是被模子学得比较好；基里尔字母言语的增益主要体现在表格而非笔墨，证实结构化内容的迁徙比纯笔墨更容易。
说到底，DocAtlas这套职责回应了一个对通盘文档AI范畴都意旨深切的问题：机器能不成在不借助任何已有AI模子的情况下，我方学会读懂来自寰宇各地的文献？谜底是信服的，并且通过差值渲染这个近似"摄影机找不同"的方式，还能作念到格外高的精度和格外广的言语掩饰。关于资源匮乏的言语社区来说，这意味着将来腹地言语的文档数字化、法律合同分析、医疗纪录索取，都有望取得与英语用户同等质地的器用复古。
虽然，这套系统也有彰着局限：它依赖文档源文献（Word或结构化标记样式），关于扫描件、相片拍摄的文档十足窝囊为力，因为这类文档根蒂没罕有字笔墨层不错索取。斟酌团队坦承，将DocAtlas的监督信号与传统的OCR工夫引诱，针对扫描文档作念进一步蔓延，是一个当然的后续地方。另外，表格TEDS在71%到73%隔邻的天花板问题，证实空间推理武艺仍然是通盘范畴尚待突破的中枢难题。
关于有兴致进一步探索的读者，不错通过arXiv编号2605.12623查阅完好论文，数据集和代码则托管在论文封面所标注的GitHub仓库地址下。
---
**Q&A**
Q1：DocAtlas的"差值渲染"和宽泛的文档标注要领有什么骨子区别？
A：宽泛的文档标注要么靠东谈主工框选，要么靠已有AI模子自动识别，两者都有上限：东谈主工太慢、AI有偏见。差值渲染则十足绕开了这两条路——它先给Word文档里的不同组件染上不同激情，用微软Word引擎渲染出染色版和原版两份PDF，再逐像素相减，那边有激情相反就证实那边有标注组件。通盘过程不需要任何已有的AI模子参与中枢标注，标注质地不受现存模子武艺的限制。
Q2：DPO考试为什么能幸免"学新言语忘旧言语"这个问题？
A：传统微调（SFT）径直让模子记取新的输入输出对，更新幅度大，容易把旧学问掩饰掉。DPO的作念法不同：它给模子同期展示正确谜底（渲染驱动的真实标注）和模子原来给出的回应，考试模子学会"偏好"正确谜底。把模子我方原来的输出作为负样本，格外于给模子保留了对旧武艺的牵挂锚点，是以能在学会新言语的同期保管旧言语的性能。
Q3：DocAtlas基准测试和之前的多言语文档测试集比拟，上风在那边？
A：掩饰范围和任务深度都有显赫膨胀。之前最佳的多言语文档基准READOC掩饰27种言语2026美加墨世界杯(中国)，不复古图表知道；OmniDocBench只掩饰2种言语；DocAtlas掩饰82种言语，同期复古9项任务（端到端页面知道、笔墨识别、表格索取、公式转录、图表知道、阅读法式收复，以及图表→HTML、公式→LaTeX、表格→HTML三项样式颐养），是眼序言语掩饰最广、任务最全的文档交融基准。