書き換えても、動作は同じ？ OpenAIが公開したコード評価の新しい材料
シン＠AI統制＆マルチエージェント
公式発表：2026年10月19日／記事作成：10月20日（日本時間）
AIに古いプログラムを書き換えてもらうとき、重要なのは「新しいコードが動く」だけではありません。「元の仕事を変えていないか」も確かめる必要があります。
OpenAIは10月19日、学習用コードや資料が比較的少ないCOBOL・Fortran・Visual Basicなどを対象に、開発と移行の評価結果を発表しました。今回は新モデルの発売ではなく、既存モデルの評価報告とMultiLangBenchの公開です。
作る能力と、振る舞いを保つ能力
MultiLangBenchは、20のプログラミング言語でSQLite互換のデータベースエンジンを作る評価です。一方、COBOL移行評価は、既存のプログラムをC++・Java・Kotlin・Python・Rustへ移し、出力の一致を調べます。
COBOL移行では、非公開テストの観測可能な出力がバイト単位で一致し、すべてのテストに合格することが成功条件です。たとえば小数の切り捨てを丸めへ変えると、エラーなく動いても結果が変わり得ます。
「できた」という説明ではなく、出力で照合
公開リポジトリのREADMEを確認すると、MultiLangBenchは初期データベースとSQLを入力し、実装が変更したデータベースを本物のSQLiteで検査します。期待出力との一致で採点する構成です。
変換済みテストは約2万4千件。通常評価には指定された272件を使い、全件を使う場合は明記するよう求めています。ネット接続禁止などの条件もあり、単にテストをダウンロードすれば同じ評価になるわけではありません。
性能値は、まだ企業側の報告
OpenAIは、COBOL移行評価でGPT-6.1 Solが低い推論設定で86.6%、高い設定で97.9%の正解率を記録したと報告しています。これは限定された評価の結果で、本番システム全般の移行成功率ではありません。
本記事では公式発表と公開READMEを確認しましたが、実装コード全体の監査、テストの実行、性能値の独立再現はしていません。COBOL移行評価そのものがMultiLangBenchと一緒に公開されたとも断定しません。
実務では、何を残せばよい？
業務改善や既存コードの整理では、書き換える担当と、元の業務結果を照合する担当を分ける考え方が参考になります。ここからは記事側の提案です。Visual Basicの評価を、そのままExcel VBAの性能とみなすことはできません。
まとめ
注目点は、珍しい言語を扱えるという主張だけでなく、変更後の振る舞いを外部のテストで確かめる材料が公開されたことです。実務への採用には、対象システム固有の業務ルール・依存関係の検証と専門家のレビューが残ります。
今日できる小さな一歩：移行前に3点を記録する
- 普段の入力例と、今のシステムが返す出力を1組保存する。
- 小数の扱い、空欄、日付など、変えてはいけない業務ルールを文章にする。
- 異常入力や境界値も加え、移行後の出力と比べる基準を決める。
たとえば「小数点以下を切り捨てる」は短い一文ですが、結果を守る大切な仕様です。AIの「できました」に、こちらの「どの入力で？」を添えてみましょう。
MultiLangBenchのリポジトリは公開されています。日本からの閲覧やローカル実行に関する地域限定はREADMEに記載されていませんが、本稿で日本の環境での実行は確認していません。モデルAPIの料金・利用条件は別途確認が必要です。
出典
相談する：業務ルールを文章から整理したい方へ
移行前の説明資料や引き継ぎ文を、構造と箇条書きで整理したい方は、私の長文テキストの構造化・箇条書き要約サービスをご覧ください。対象は提供いただく文章の整理です。
この記事の販売者
