OpenAI COBOL迁移评测：准确率从5.4%升至86.6%

OpenAI在2026年10月19日发布的低资源编程语言评测中报告：在其COBOL迁移测试里，GPT-6.1 Sol以低推理强度取得86.6%的准确率，GPT-5.6 Sol在相同设置下为5.4%；前者提高推理强度后达到97.9%，低强度测试的估算API成本还比后者低39%。这些成绩来自厂商设计并执行的测试，不能直接当作真实遗留系统的上线成功率。

同日公布的MultiLangBench衡量另一种能力：从零构建软件，而非迁移已有程序。独立技术媒体CellCog对这次发布的梳理列出，在覆盖20种语言的构建任务中，GPT-6 Astra的平均测试通过率为87.4%，GPT-5.6 Sol为26.8%；其中Fortran从21.4%升至83.5%，COBOL从10.9%升至72.1%。前一组迁移准确率与这一组构建通过率对应不同任务，不能互相替代。

MultiLangBench测的是从零构建能力

MultiLangBench中，构建SQLite兼容数据库引擎的COBOL与Fortran测试通过率分别呈现不同提升幅度。

这项任务要求模型用指定语言实现一个兼容SQLite的数据库引擎。候选程序接收初始数据库和SQL查询，执行修改后交出数据库文件；验证程序再检查文件中的数据是否符合预期。模型需要持续组织代码、管理状态、处理错误，并在增加功能时保住已经实现的功能，因此成绩反映的是一段较长开发过程中的测试通过率。

开放的MultiLangBench仓库以SQLite 3.40.1为参照，将原有测试转换为初始数据库、用户查询和验证查询，并建议评测先运行指定的272项测试。候选实现必须使用目标语言；评测环境还要移除现成的SQLite实现并断开互联网，以免模型绕过编写数据库引擎的任务。这些设置让外部团队能够检查题目、运行方式和语言限制，也为复现构建成绩提供了起点。

同一套数据库输入便于比较不同语言，但平均值不能代表每门语言的实际难度。COBOL在这次构建测试中仍处于较低位置；对维护COBOL系统的机构来说，跨语言平均成绩只能说明整体进步，不能代替目标语言的结果。更关键的是，写出一个新引擎与理解一套长期运行的交易规则，是两类不同的工程问题。

COBOL迁移测试怎样判定成功

迁移任务给模型的是已有COBOL程序，目标语言包括C++、Java、Kotlin、Python和Rust。隐藏测试比较原程序与改写程序的可观察输出，要求逐字节一致；只有某个改写程序通过全部相关测试，才算完成该迁移任务。因此，准确率计算的是完整通过测试的任务比例，而不是生成代码中正确的行数，也不是程序能够编译的比例。

逐字节比较能够抓住一些难以从代码表面发现的变化。COBOL定点数运算在没有明确要求舍入时，可能直接舍弃多余的小数位；目标语言中的新实现若改为四舍五入，程序依然可以正常运行，却会给出不同的金额。缺失记录如何处理、字段如何填充、结果如何格式化，也可能由旧程序的实际行为决定。迁移时若只追求代码更简洁，这些细节容易被无意改写。

严格的输出比较仍受测试输入覆盖范围限制：没有触发的异常路径、日期边界或依赖系统交互，不会因为已通过的样本而自动得到验证。还有一类问题需要机构自己裁定：旧程序的行为究竟是必须保留的业务规则，还是应当经过批准后修正的缺陷。字节一致性可以指出新旧程序哪里不同，却不能决定哪一种行为才符合当前业务要求。

旧系统切换前的迁移边界

这次成绩说明模型已能更频繁地产生通过隐藏测试的候选程序。生产迁移则需要把代码生成、规则裁定和系统验收分给不同环节；以下分工针对这一工程边界，并非已经在真实机构完成的迁移案例。

交给模型起草：梳理程序入口、字段和调用关系，生成目标语言的候选实现，并根据已知输入补充测试或列出新旧输出差异。每项产物都应能追溯到原程序、输入和预期行为，便于后续审查。
由业务负责人审定：核定金额截断与舍入、缺失记录、日期边界及异常处理等行为应当保留还是修正。规则若只存在于旧代码中，复制现有输出只能说明实现一致，不能替机构决定下一笔真实业务应如何处理。
在实际系统中回归：用机构自己的历史样本、边界输入和依赖系统比较新旧实现，检查字段格式、输出字节、账务平衡与异常路径。出现差异时，还要区分迁移缺陷、运行环境差别和已获批准的规则变更。

对于银行和公共服务系统，单个程序的输出相同只是验收的一部分。上游数据可能带有旧格式，下游系统可能依赖特定字段或错误码；这些关系进入本地测试范围后，候选程序才有机会接受与实际切换相称的检验。公开的构建题组可以供外部复跑，迁移测试使用的隐藏样本则不能替任何机构覆盖自己的数据和接口。

接下来最有价值的证据，是外部团队复现公开构建任务，以及真实迁移项目在规则审定和完整回归后记录的差异。在这些结果出现前，新的测试成绩可以改变候选代码的产生方式；是否切换旧系统，仍要由该系统的业务与运行结果决定。