跳到主要内容
返回时间线
OpenAI News来源发表:

COBOL、Fortran不再被模型绕开:新模型在20种语言上把SQLite重建通过率从26.8%拉到87.4%

核心概要

OpenAI公布面向COBOL、Fortran、Visual Basic等低资源编程语言的新模型进展,并配套两项评测:MultiLangBench要求从零构建兼容SQLite的数据库引擎,COBOL迁移评测要求迁移后行为逐字节一致。在MultiLangBench上,GPT-6 Astra在20种语言上的平均测试通过率为87.4%,GPT-5.6 Sol为26.8%;在COBOL迁移评测上,GPT-6.1 Sol在低推理强度下达到86.6%,GPT-5.6 Sol为5.4%。

AI-generated editorial illustration: Advancing coding in low‑resource programming languages

深度剖析

低资源编程语言上的编码能力有了可对照的量化进展:COBOL、Fortran、Visual Basic等语言可获得的代码与文档少于Python、JavaScript,而COBOL支撑着超过40%的在线银行系统、80%的面对面信用卡交易和95%的ATM交易。 此前开发者与企业客户反馈,编码模型在这些语言上常常吃力;维护和现代化这类软件时,文档可能不完整、原开发者可能已离开公司,重要业务规则只存在于代码里。 在MultiLangBench上,GPT-6 Astra在20种语言上的平均测试通过率为87.4%,GPT-5.6 Sol为26.8%,且每种被测语言都有提升,其中COBOL从10.9%升到72.1%,OCaml从25.6%升到85.8%,Fortran从21.4%升到83.5%,Visual Basic从27.5%升到89.4%。

成本更低的选项同样在每种被测语言上超过GPT-5.6 Sol,说明提升不只出现在最大算力设置下。 GPT-6 Luna在最大推理强度下的平均测试通过率为40.3%,低于Astra,但高于GPT-5.6 Sol的26.8%。 GPT-6 Luna的估计平均API成本为每个样本0.77美元,GPT-5.6 Sol为3.48美元,约低78%;其分语言结果包括COBOL从10.9%到17.1%、Fortran从21.4%到31.4%、Visual Basic从27.5%到41.6%。

第二项评测考察的是迁移后行为是否保持不变,而不只是代码能否运行。 COBOL程序常处理金融交易和业务记录,舍入规则、缺失记录处理等细节反映业务要求;COBOL的定点运算会丢弃多余小数位,除非显式要求舍入,改写时若改为舍入,程序可以无错运行却产生不同的财务结果。 迁移评测要求隐藏测试在可观测输出上逐字节一致,全部测试通过才算成功;GPT-6.1 Sol在低推理强度下达到86.6%,GPT-5.6 Sol在同一设置下为5.4%,前者API成本为后者的61%,提高推理强度后准确率达到97.9%。

启示与展望

结果针对两项自建评测:MultiLangBench要求模型在指定语言中构建兼容SQLite的数据库引擎,以数据库文件为共享接口,用参考SQLite实现核对结果内容;COBOL迁移评测要求把程序迁移到C++、Java、Kotlin、Python或Rust,并在隐藏测试上逐字节一致。读者对象是维护和现代化旧系统的开发者与企业团队。MultiLangBench的评测设置与测试套件已在GitHub公开,可按语言查看结果。

迁移评测在高推理强度下达到97.9%,已接近饱和,继续提升的空间有限。COBOL在MultiLangBench上仍是20种语言中最难的一项,Astra为72.1%,其余19种语言均高于83%。把这类保持行为的能力用于生产软件,仍需专家审查并针对系统的业务规则和依赖进行测试。