自然会話の特徴から双極性障害を高い精度で判別 「会話の内容」よりも「声の音響的な特徴」に手がかり －世界最大級の会話データベース（500名超・約1,300件）を用いた自然言語処理・音声解析－

【ポイント】

・全国10施設で約7年間（2017〜2024年）収集した、双極性障害患者61名・健常者99名の面接会話データを解析
・音響3,473種類・言語211種類の特徴量（音量に依存する2,900種類の音響特徴は除外）からLASSOと入れ子交差検証（nested cross-validation：注2）で判別モデルを構築し、AUC（注3）＝0.916（感度0.933、特異度0.859）を達成
・有意な特徴量の96〜98%が音響特徴量（注4）。音響のみ（AUC=0.910）が言語のみ（AUC=0.651）を大きく上回り、「話の内容」より「声の音響的な特徴」に情報が集中していた
・症状が落ち着いた寛解期でも健常者と判別可能（AUC＝0.874）。ただし抗精神病薬の影響を分離できておらず、未服薬例での確認が必要
・うつ状態と躁状態では治療方針が大きく異なるため、気分状態の客観的把握には臨床的意義があるが、本研究での状態間の判別は限定的であり、症状モニタリングへの応用には依然として課題が残る


1．研究の背景と概要

双極性障害は成人の1〜3%が罹患する重篤な精神疾患ですが、初診時には躁状態がまだ明確に現れていないことが多く、76.8%がうつ病と診断され、正確な診断に至るまで平均およそ6年を要すると報告されています。うつ状態と躁状態では薬物療法の方針が大きく異なるため正確な評価が不可欠である一方、それを支える客観的な検査指標は存在しません。

近年、自然言語処理（NLP：注5）と音声解析を用いたバイオマーカー研究が進んでいますが、従来研究の多くは小規模で結果が一貫せず（メタ解析による分類精度は0.77）、言語情報と音響情報を別々に解析しており、両者を同時に解析した研究はほとんどありませんでした。


2．研究の成果と意義・今後の展開

本研究グループは、会話から精神疾患を理解することを目指すUNDERPINプロジェクトを推進しています。本研究ではその一環として、慶應義塾大学病院および全国の連携医療機関（病院7施設・クリニック3施設）で2017年から2024年に収集した、双極性障害患者61名・健常者99名の半構造化面接データを解析しました。面接時点の気分状態は、うつ状態（32名）、躁症状を伴う状態（混合状態を含む。以下、躁・混合状態）（20名）、寛解期（26名）に分類しました（経過の中で気分状態が変わった患者は2つ以上の気分状態に含まれるため、各状態の人数の合計（78名）は61名を上回ります）。音響特徴量は3,473種類を抽出し、言語特徴量211種類と併せて、LASSO正則化ロジスティック回帰と入れ子交差検証により判別モデルを構築しました（図1）。

全国の医療機関で録音した面接中の会話から、声の音響的な特徴（音響特徴量）と話の内容（言語特徴量）を抽出し、機械学習モデルで双極性障害と健常者を判別しました。有意な特徴量の96〜98%は音響特徴量でした。

その結果、双極性障害と健常者の判別でAUC＝0.916が得られました。気分状態別に健常者と比較した場合は、うつ状態でAUC＝0.805、躁・混合状態で0.848、寛解期で0.874となり、最も症状が軽い寛解期で最も高い値が得られました。モダリティ別に解析すると言語のみで0.651、音響のみで0.910、統合モデルで0.911であり、言語特徴量による上乗せはほとんどありませんでした（図2）。

主解析と同じ手順で、（a）言語特徴量のみ、（b）音響特徴量のみ、（c）言語と音響の統合を用いて判別モデルを構築し、AIが算出した双極性障害の予測確率の分布を健常者（灰色）と双極性障害（赤色）で比較しました。音響特徴量を用いたモデルでは2群の分布が分かれたのに対し、言語特徴量のみのモデルでは大きく重なりました。枠内の感度・特異度は判定閾値0.5での値です。出典：論文の補足資料Figure S2を改変（CC BY 4.0）。

個々の特徴量を見ると、うつ状態では高次のMFCC（注6）の時間的な平坦さ（発話を通じて声の細かな変化が乏しいこと）が、躁・混合状態ではスペクトルの変動性（注7）が関連していました。気分状態によらず持続する特徴としては、低次のMFCCや倍音対雑音比の低下などが同定され、発声の明瞭さの低下を示唆します。うつ症状の重症度（HAMD-17）は、MFCC 8次の変動性と負の相関を示しました（rs＝−0.51）。

被験者の重複を除いて気分状態どうしを直接判別したところ、うつ状態と寛解期の判別のみが有意でした（AUC＝0.760、p＝0.030）。また薬剤の影響を検討した結果、双極性障害全体・うつ状態・躁/混合状態の判別結果は薬剤の種類や総薬剤負荷と関連しませんでしたが、寛解期のみ抗精神病薬を服用している患者で診断確率が高く（Cohen d＝1.17）、寛解期の判別を薬剤の影響から切り分けることはできませんでした。
なお、同定された音響特徴が実際の声にどう現れるかを示すため、WORLDボコーダー（注8）で音声を再合成した参考音源を補足資料として公開しています（表1、下記URL・QRコード）。この再合成は、解析で特定された音響特徴量の変化が人の耳でも聞き取れるかを確かめるための探索的な試みです。元となった音声は患者のものではなく、本研究のデータに含まれない健常ボランティアと、公開英語音声コーパスの音声です。

本研究で示された声の特徴は、多くの参加者を比べて得られた集団としての傾向です。これらの音声は現時点で、双極性障害の診断を裏付けるものではなく、このような声の特徴を持つ方が双極性障害であることを意味するものでも決してありません。

元の音声は、本研究のデータに含まれない健常ボランティアの音声です。論文公開後は、論文の補足資料（Audio S1.1〜S1.3）としても公開される予定です。論文では、英語音声データでも同様の変化が確認できたことを報告しています。

診断遅延が大きな課題である双極性障害において、実臨床に近い面接会話からうつ状態や躁・混合状態を健常者と見分けるための客観的な補助指標の候補を示した点に本研究の意義があります。とりわけ、判別を担ったのが発話の「内容」ではなく「声の音響的な特徴」であったことは、気分の変調が発話運動や声質の制御に及ぼす影響が、語彙や話題の選択よりも捉えやすい形で現れる可能性を示唆します。
今後は、第一に、うつ病や統合失調症など他の精神疾患との比較により、今回の特徴が双極性障害に特異的かどうかを切り分けます。第二に、日本語以外の言語での再現性を検証します。第三に、今回の判別性能は同じ研究データの中で評価した値であるため、別の集団から新たに集めた外部データで同様の性能が得られるかを検証します。なお、これらの指標は臨床面接に取って代わるものではなく、補助的に活用されるべきものです。


3．特記事項

本研究は、科学技術振興機構（JST）戦略的創造研究推進事業 CREST（JPMJCR1684、JPMJCR19F4、JPMJCR22P3）、JST AIP加速課題（JPMJCR22U4）、JSPS科研費 JP23H04979、および日本医療研究開発機構（AMED）の脳科学研究の戦略的な推進<脳科学研究戦略推進プログラム、革新的技術による脳機能ネットワークの全容解明プロジェクト・戦略的国際脳科学研究推進プログラム>戦略的国際脳科学推進プロジェクト、脳とこころの研究推進プログラム「脳科学とAI技術に基づく精神神経疾患の診断と治療技術開発とその応用」、脳神経科学統合プログラム「生成/敵対AI・デジタル脳に基づく脳回路バイオマーカとニューロフィードバック治療に関する研究開発」、脳神経科学統合プログラム「記憶機能に関する全脳ダイナミクス・バイオマーカの開発とニューロフィードバック訓練の基盤構築」、脳神経科学統合プログラム「精神・神経疾患における炎症を起点とした全脳の神経回路変容の解明」の支援を受けて実施されました。


4．論文

・英文タイトル：Machine Learning Classification of Bipolar Disorder Across Mood States Using Natural Language Processing and Speech Analysis: Observational Study
・タイトル和訳：自然言語処理と音声解析を用いた、気分状態をまたぐ双極性障害の機械学習による判別：観察研究
・著者名：山口 湧声、狩野 芳伸、杉原 玄一、竹村 亮、中村 啓信、清水 正彬、飯塚 真理、北沢 桃子、仙頭 綾子、髙橋 英彦、岸本 泰士郎
・掲載誌：Journal of Medical Internet Research（JMIR）
・DOI：10.2196/98094


【用語解説】

（注1）双極性障害：
うつ状態と躁状態（気分が高揚し活動性が亢進した状態）を繰り返す精神疾患。

（注2）LASSOと入れ子交差検証（nested cross-validation）：
LASSOは多数の候補から予測に寄与する少数の特徴量を自動的に選び出す統計手法。入れ子交差検証（nested cross-validation）は、モデルの調整に使ったデータで性能を評価してしまうことを防ぐ検証手続き。

（注3）AUC：
判別性能の指標。1に近いほど性能が高く、0.5は偶然と同じ水準を意味する。

（注4）音響特徴量：
声の高さ、声質、周波数成分の分布など、発話の物理的な性質を数値化したもの。「話の内容」ではなく、声そのものの音響的な性質を表す。

（注5）自然言語処理（NLP）：
文章や会話をコンピュータで解析する技術。

（注6）MFCC：
声の周波数成分の全体的な形を数値で表現したもの。低次の係数は大まかな形を、高次の係数は細かな変化を表す。

（注7）スペクトルの変動性：
声に含まれる周波数成分の分布（スペクトル）が、時間とともにどれだけ変化するかを表す特徴量。代表的なものにスペクトルフラックスがあり、短い時間の間にスペクトルが大きく変わるほど値が大きくなる。

（注8）WORLDボコーダー：
音声を声の高さ・周波数成分・雑音成分に分解し、それらを変更して再合成できる音声分析合成システム。