MentalHealthBenchのその後:公開データと評価の限界を確認する

MentalHealthBenchのその後:公開データと評価の限界を確認する

シン@AI統制&マルチエージェント

シン@AI統制&マルチエージェント

【9月24日確認時点の記録/配布先の確認結果は末尾に追記】 OpenAIは2026年9月23日、AIモデルによるメンタルヘルス関連の対応を評価するための基準「MentalHealthBench」を公開したと発表した。22か国から参加した資格を持つメンタルヘルスの専門家80人超(約20の専門分野、19言語)と共同で開発したという。

このベンチマークは、日常的なストレスに関する会話から、緊急性の高い深刻な相談まで、3段階の緊急度にまたがる合成対話(実在の相談ではなく評価用に作成された会話)を対象とする。評価対象には成人だけでなく、13〜17歳の未成年者、家族等の介護者、臨床従事者向けの会話も含まれる。評価の観点としては、本人の意思決定の尊重、状況・背景の丁寧な確認、安全性への配慮、状況に応じた具体的な行動支援などが挙げられている。

採点の仕組みは、専門家が作成した採点基準(マイナス10からプラス10までの重み付け)に基づく。各会話は少なくとも3人の専門家がレビューし、2人以上が一致し、かつ3人目が明確に反対していない基準のみを採点に採用したという。実際の自動採点には、OpenAIの別モデル「GPT-5.6 Sol」が使われているとされる。

これとは別に、16か国・14言語の利用経験者44人を対象にした調査も紹介されている。この調査は、利用者と専門家それぞれの視点を比較する目的で、緊急性の低い日常会話を対象に実施されたもので、利用者は専門家よりも「具体的な次の一歩」や「話し方・トーン」を重視する傾向が見られたという。ただし、この調査結果によってベンチマーク自体の最終的な採点基準が変更されたわけではないと明記されている。

OpenAIは、ChatGPTは専門的な治療やケアの代替ではないと説明している。この評価が測るのは、合成会話の最後のユーザー発言に対するモデルの応答であり、実際の治療成績や長期的な健康への影響ではない。

同社は研究者が検証・活用できるオープンなベンチマークとして案内し、論文を公開している。ただし、今回の確認ではデータセットと採点コードの具体的な配布先を特定できなかった。

出典(2026年9月24日確認)

https://openai.com/index/introducing-mentalhealthbench/

https://cdn.openai.com/ctf-cdn/MentalHealthBench_A_Comprehensive_Benchmark_of_AI_Capabilities_in_Realistic_Mental_Health_Conversations.pdf

【2026年10月31日追記:配布データを取得して確認】

9月の原稿では配布先を特定できていませんでしたが、今回は論文第8節の公式ZIPを取得できました。以下は発表の振り返りと、今回確認した範囲の記録です。

1.基準の設計と、自動採点は別の役割

専門家が合成会話の応答に対する基準を設計し、その基準への適合を別のモデルが判定します。「専門家が参加した」と「すべての返答を専門家が直接採点した」を分けて読むことが大切です。

2.ZIPの取得と、モデルの再評価を分ける

公式配布ZIP内のREADME・LICENSE・評価用JSONLを確認し、ローカルで1,215会話、採点基準の合計5,262項目を数えました。モデル応答の生成や再採点は行っていません。背景情報を示すsystemメッセージは保持し、データ識別用のcanary_stringはモデルや採点器の入力に含めないという案内も確認しました。実際の会話例や採点基準本文は本記事に転載していません。

3.入力・採点・解釈を分けて記録する

ここからは記事側の提案です。入力データの版と取得日、評価するモデルと採点するモデルの設定、得られた結果と未実施の項目を別々に残すと、次の人が確認しやすくなります。件数を確認できても、治療効果や長期的な健康への影響を実証したことにはなりません。

まとめ

まず手元の評価メモに「入力は何か」「誰がどう採点するか」「何までは言えないか」の3行を追加してみてください。ChatGPTは専門的な治療やケアの代わりではありません。本稿は評価手順の紹介で、個別の医療判断は扱いません。

追記の出典(2026年10月31日確認)

OpenAI公式発表「Introducing MentalHealthBench」(2026年9月23日)。

論文「MentalHealthBench: An Expert-Informed Benchmark of AI Capabilities in Realistic Mental Health Conversations」第2節・第8節。

同論文第8節の公式配布ZIP「OAI_MentalHealthBench.zip」内READMEとJSONL。

公式発表:https://openai.com/index/introducing-mentalhealthbench/

論文:https://cdn.openai.com/ctf-cdn/MentalHealthBench_A_Comprehensive_Benchmark_of_AI_Capabilities_in_Realistic_Mental_Health_Conversations.pdf

公式配布ZIP:https://cdn.openai.com/ctf-cdn/OAI_MentalHealthBench.zip

※追記と独自図版の制作にAIを補助的に使用し、一次資料と取得データを照合しています。


あなたも記事の投稿・販売を
始めてみませんか?

Tipsなら簡単に記事を販売できます!
登録無料で始められます!

Tipsなら、無料ですぐに記事の販売をはじめることができます Tipsの詳細はこちら
 

この記事の販売者

シン@AI統制&マルチエージェント

人とAIの役割を組み立て、構想を使える成果物へ。教育・営業・接客・介護・事務の経験を背景に、個人プロジェクト「Human OS」で複数AIとの協働を設計・実践しています。教材・記事制作では企画、役割分担、品質の確認、改善を担当。課題を整理し、進め方を見直しながら形にする力を、業務改善・AI活用・プロジェクト推進へ広げていきます。

この販売者が書いた他の記事

  • Grok 4.7のその後:API・料金・完了条件を確認する

  • Google、新音声生成モデル「Gemini 3.8 Flash TTS」「Flash-Lite TTS」を発表

  • 離れている間も仕事を進める。Claude Duetが示す「任せるAI」の現在地

関連のおすすめ記事

  • 【AI自動化・マネタイズ実例書】たった2週間〜機械オンチなママでもできた全作業過程

    ¥40,000
    1 %獲得
    (400 円相当)
    みお

    みお

  • ゼロから3日で始動|AIコンサル大全

    ¥124,800
    1 %獲得
    (1,248 円相当)
    水口一星

    水口一星

  • Claude Code 業務効率化の教科書

    ¥4,980
    1 %獲得
    (49 円相当)
    くろだ@海外ガジェット販売

    くろだ@海外ガジェット販売