llm-d 1.0转向生产运维：开源推理栈补上不停机升级
科技
百度开源Unlimited OCR 2，百页文档不再逐页拼接
百度的开源项目发布记录列明，2026年10月27日Unlimited OCR 2开放模型和多页推理示例，百度智能云也提供文档解析入口。用户可以按页序提交整份文件，让模型在识别时利用跨页上下文，而不必先取得互不关联的单页结果再机械拼接。
AREX的技术解读整理了3.34B参数的模型规模、MPDocBench的84.6分和MarathonDocBench的77.1分，以及百页测试中相对全注意力和R-SWA分别为7.0倍、5.6倍的单步解码提速。这些分数和速度均来自发布方的测试；其中的提速不等于上传文件至取得完整结果的总耗时缩短相同倍数。
稀疏滑动窗口怎样衔接跨页内容
Unlimited OCR 2的关键变化，是让解码器在长文档中有选择地回看视觉信息。逐页识别把分页处的关系留给后处理；持续查看此前所有页面，又会使每一步生成都承担越来越多的计算。稀疏参考滑动窗口注意力，即SR-SWA，试图在这两种负担之间保留有用的跨页线索。
模型先按当前生成内容定位相关页面，再从候选页面挑选相关的视觉区域，与附近内容一同放入容量受控的参考范围。它因此无需在生成后续文字时反复遍历全部旧页。页尾与下页开头属于同一段落，或一张表格在分页后继续，都可以在连续生成过程中得到判断，而不只是依靠页码相邻这一条件。
面对超过单个处理窗口的文件，无限视域解码会顺序处理相接的页面片段，并保留衔接所需的部分上下文。这解释了模型为何能把长文件作为连续任务：后续片段仍能取得与前一片段有关的信息。不过，窗口边界上的表格和段落仍是需要关注的位置；缩小页面窗口虽然可以减轻显存压力，也可能损失跨边界合并所需的上下文。
从PDF输入到可追溯的结构化结果
开源推理示例把PDF转换为页面图像，按原有顺序送入多页接口，再生成按输入页序排列、带页面标记的文本。页面标记让后续处理能够对应原文件的位置。这里的“一次解析”指模型在同一任务中获得多页上下文，并不意味着原始输出已经是适合直接入库的成品。
跨页表格最能体现连续解析的价值。若表头位于前页、数据行延续到后页，孤立的单页结果只能提供两段内容；连续任务则有机会判断它们属于同一结构。保存结果时仍须保留表格块、章节层级和原页位置，否则即使检索命中了某个数字，也难以确认它在原文件中的栏目与语境。
开源项目的评测流程先保存模型原始输出，再经后处理生成Markdown。因此，本地运行者需要安排PDF预处理、输出转换和入库格式衔接。对于扫描档案，倾斜、模糊或破损还会影响字符与版面判断；跨页接续能力不能代替对关键表格单元、标题归属和引用位置的复核。
百页基准说明了什么
百页级测试考察的不只是能否认出单个字符。长文件中的阅读顺序、标题层级、被分页截断的段落和表格，都会影响最终结构。一个文件即使能完整跑完，续页上的数据行若接错列，进入素材库后仍可能产生错误摘录。
单步解码加速衡量的是模型生成输出时每一步的计算表现。实际批量处理还包含PDF转图像、图像编码、生成整份结果及后处理，等待时间会受到文件页数、页面复杂度和服务并发影响。因而，基准成绩适合说明这条技术路线在特定数据和配置下的能力边界，不能直接换算成任意一批真实扫描件节省的工时。
对长篇年报和资料库而言，更有用的观察对象是错误落在哪里：续表能否保持列对应，跨页段落是否重复或遗漏，章节标题能否覆盖正确的内容范围。原页定位若随结构化结果一起保留，人工修订才有明确的回查位置。
开源部署与百度智能云入口的区别
开源路径提供模型权重和Transformers多页推理示例，也给出面向服务部署的SGLang配置。本地部署者需要承担推理资源与预处理工作，并决定页面窗口和后处理方式。示例环境使用高显存GPU，不能据此推断普通设备处理同类文件的耗时。
百度的文档解析服务页面提供免部署的API入口，列明PDF等输入格式，并说明服务可输出Markdown和JSON结构化内容。云端服务负责模型运行与接口交付；它返回的结构化文件，与开源推理示例中的带页标记原始输出处于不同环节，不能直接视为相同的交付物。
这一区别会影响批量整理的实际成本。本地方案需要配置运行环境并维护转换流程，云端方案则把运行交给服务接口；两条路径最终都要让章节、续表和页码在素材库中保持对应。对使用者来说，最直接的收益是减少分页处的机械拼接，而关键内容能否可靠复用，仍取决于这些结构在实际文件中的表现。
相关阅读：
相关文章
订阅我们的新闻通讯
将最新 Web3、AI 和加密货币新闻直接发送到您的邮箱。
0