NEWS 最新情報

MICIN、金沢大学と実施していたChatGPTおよびGPT-4を用いて第117回医師国家試験(2023年2月実施)を解かせる研究において初めて合格点に到達し、その成果を論文としてオンライン公開いたしました

株式会社MICIN（本社：東京都千代田区、代表取締役CEO：原聖吾、以下 MICIN）は、金沢大学医学類の学生ならびに融合研究域融合科学系 野村 章洋 准教授らの研究グループと共に、ChatGPTおよびGPT-4を用いて第117回医師国家試験(2023年2月開催)を解かせる研究に関する論文をオンライン公開いたしました[1]。

本論文では日本国における最新の医師国家試験（第117回2023年2月開催）の画像なし問題262問を対象としてChatGPTおよびGPT-4の性能検証を実施し、その結果、必修問題で82.7%、基礎・臨床問題で77.2%のスコアを獲得したことで、それぞれ合格最低ラインである80.0%と74.6%を満たし合格点に到達いたしました。第117回医師国家試験でのChatGPTおよびGPT-4を用いた出力結果の合格点の到達は、本研究が初となります（※）

また本論文ではChatGPTおよびGPT-4の出力結果のうち、不正解となった56問の発生要因についても詳細な調査を実施いたしました。それらの調査からChatGPTおよびGPT-4が誤答を生成する3大要因として「医学知識の不足」「日本特有の医療制度に関する情報」「計算問題での誤り」を特定することができました。

ChatGPTおよびGPT-4を提供しているOpneAI社は、生命を脅かす問題や深刻な病状に対するトリアージ、診断、治療の選択肢を提供するためにモデルを使用すべきではないことをすでに示しています[2]。

今回の我々の研究結果からAIは80%を超える正答率で医師国家試験に合格できるものの、一方で依然として20%の問題を間違え、かつ間違える内容自体も多岐にわたることがわかりました。これらの結果を踏まえて、現時点ではChatGPTおよびGPT-4を医療目的で使用することは慎重になる必要があります。

MICINはこれらの結果を踏まえて、ChatGPTおよびGPT-4の性能限界を踏まえた適切な応用、および最新技術の臨床現場への活用についてさらなる研究や開発を進めて参ります。

[1]Performance of Generative Pretrained Transformer on the National Medical Licensing Examination in Japan. medRxiv preprint doi: https://doi.org/10.1101/2023.04.17.23288603 ; this version posted April 24, 2023.
[2]OpenAI. Usage policies. 2023. Available from: https://openai.com/policies/usage-policies

※2023年4月15日時点・MICIN調べ