Synthetic Patient–Physician Conversations Simulated by Large Language Models: A Multi-Dimensional Evaluation
Synthetic Patient–Physician Conversations Simulated by Large Language Models: A Multi-Dimensional Evaluation
主要發現與結論
四種大型語言模型生成的 40 份整形外科醫病對話，在三名臨床背景評分者的七項評分中，平均皆達 4.50–5.00 分，但模型差異未達顯著。各模型的對話長度與表達風格差異明顯，生成的病人卻全是女性。結果支持合成對話作為教材與研究材料的潛力；其與真實互動的相似程度、人口代表性及實際教學成效仍待驗證。
為什麼做這個研究？
- 醫療教育需要能練習病史詢問、共同決策與同理溝通的模擬情境；醫療對話系統也需要對話資料供開發與測試。
- 真實醫病逐字稿涉及敏感資訊，取得、同意與去識別化的成本限制了資料使用。
- 大型語言模型可憑提示生成虛構對話，但讀起來流暢，仍不足以判定醫療內容、互動與教學用途是否適當。
- 作者指出，既有研究多由病歷或結構化資料生成對話，尚缺少結合零樣本提示（zero-shot prompt）與臨床評閱的研究。零樣本提示是指只給模型任務指令，不提供示範對話。為此，本研究選擇兼具技術說明、身體意象與情緒議題的整形外科作為測試情境（pp. 2–3）。
做了什麼？
- 生成材料： 以 ChatGPT 4.5、ChatGPT 4o、Claude 3.7 Sonnet 與 Gemini 2.5 Pro，分別生成腹部整形、隆鼻、手部手術、淋巴水腫手術及乳房重建等十種情境，共 40 份逐字稿。每份由同一模型撰寫醫師與病人雙方，涵蓋術前、術後諮詢，沒有真人參與互動。
- 提示操作： 四模型使用同一段提示，只替換手術名稱；要求自然語言、情緒細節、病人背景、共同決策及適當臨床資料。這是零樣本提示（zero-shot prompting）：未提供示範對話；模型未經醫療領域微調，也未替各模型個別優化提示。提示沒有指定病人性別。
- 人工評分： 同一機構整形外科的三名受臨床訓練研究者，先以另三份試稿校準，再獨立評全部材料。評分時不知道模型身分，但知道是合成對話；每構面 1–5 分，共 40×3×7＝840 筆分項評分。七構面為醫療正確性、真實感、角色一致性（人物的知識、個性與情緒連貫）、提示遵循度（符合輸入要求）、同理心、相關性（緊扣臨床問題）及教學可用性（對訓練用途的適合程度判斷）（pp. 4–5、12）。[1]
以「模型×評分構面」的二因子重複量數 ANOVA 比較人工評分；另計算詞數、對話輪次、醫病發言詞數比、可讀性及詞彙多樣性（不同詞數／總詞數），並用自訂詞表計數臨床詞彙、填充詞與同理語句。文字指標僅作描述比較（pp. 5–7）。
補充表 S1：評分規準（中文整理）
以下依補充表 S1 的原有順序，整理七個構面的評分問題及全部 1–5 分標準（補充 PDF 第 1–4 頁）。分數愈高，代表評閱者認為該構面的表現愈好。「肯認」（validation）指承認並尊重病人的感受與觀點；「可用性」依預定用途判斷，原表涵蓋訓練、研究、示範或特定分析任務，本研究則著重教學／模擬用途。
構面與評分問題
| 構面 | 評分者要判斷的問題 |
|---|---|
| 1．真實感（Realism） | 逐字稿在多大程度上呈現指定角色（如病人與醫師）之間真實、自然的對話？ |
| 2．角色一致性（Persona Consistency） | 病人與醫師的角色是否在整份逐字稿中保持一致且可信？如有相連的術前／術後逐字稿，也須檢查跨稿的一致性。 |
| 3．提示遵循度（Fidelity to the Prompt） | 逐字稿是否準確遵守提示／情境要求的具體細節與限制？ |
| 4．醫療正確性（Medical Accuracy） | 醫療資訊有多準確，包括術語、病況、治療與建議？ |
| 5．同理心（Empathy） | 醫師及整體醫病互動，是否同理、理解並肯認病人的觀點、擔憂與情緒？ |
| 6．相關性（Relevancy） | 內容對提示中指定的主題、手術或諮詢類型有多相關、適當？ |
| 7．可用性（Usability） | 逐字稿對預定的訓練、研究、示範或特定分析任務有多適合、多有效？ |
各構面的逐級標準
| 構面 | 1 分：很差（Very Poor） | 2 分：差（Poor） | 3 分：尚可（Adequate） | 4 分：良好（Good） | 5 分：優異（Excellent） |
|---|---|---|---|---|---|
| 真實感 | 高度做作；語言僵硬、銜接不自然，完全不像可信的人際互動。 | 多半做作；語言自然度或對話銜接有明顯問題，可信度有限。 | 部分自然、部分做作，具基本可信度。 | 大致自然可信，語言銜接流暢，僅有輕微做作感。 | 非常自然、高度可信；語言極為流暢，足以令人信服地模擬真人對話。 |
| 角色一致性 | 角色設定嚴重不一致、互相矛盾，或完全不可信；經常出現不符角色的表現。 | 多處出現明顯不一致或缺乏可信度。 | 整體一致、基本可信，但偶有小疏漏或刻畫不夠深入。 | 角色設定持續一致，大致可信，且具有鮮明特徵。 | 始終高度一致，角色刻畫完整、細緻，且高度可信。 |
| 提示遵循度 | 嚴重偏離提示；大多數關鍵指令或情境細節遺漏或錯誤。 | 明顯偏離提示；多項關鍵指令或情境細節遺漏或錯誤。 | 整體符合提示，但部分內容有明顯偏離或遺漏。 | 大致準確符合提示，僅有輕微或無關緊要的偏離、遺漏。 | 準確且完整反映提示，所有關鍵指令與情境細節均精確呈現。 |
| 醫療正確性 | 含重大、可能造成傷害的醫療錯誤，或嚴重錯誤資訊。 | 有多項明顯醫療錯誤，其中部分可能誤導讀者，或內容明顯不正確。 | 整體醫療內容合理，可能有輕微、零星錯誤，或過度簡化但無害的資訊。 | 醫療內容正確，幾乎沒有錯誤；若有也屬微小問題，術語使用正確且適當。 | 全文維持高度醫療正確性；資訊正確、精確、符合最新知識，且詳略適當。 |
| 同理心 | 醫師冷漠、輕忽或完全缺乏同理回應；忽視或否定病人的擔憂。 | 同理回應極少或流於表面；很少理解或肯認病人的感受。 | 有同理的嘗試，例如回應病人感受，但可能流於公式或表現不一致。 | 持續展現理解與肯認，並能依病人的表達給予適當的同理回應。 | 熟練且真誠地傳達深刻理解、關懷與肯認；同理溝通自然融入互動。 |
| 相關性 | 幾乎完全離題、內容不當，或處理完全無關的問題。 | 大段內容離題、不當，或處理無關的問題。 | 大致相關且適當，但有些明顯岔題或稍欠相關的內容。 | 大部分內容相關、聚焦且適當，僅有輕微或無關緊要的岔題。 | 高度相關、焦點明確，直接且全面處理情境的核心面向。 |
| 可用性 | 完全無法用於預定目的；根本上不清楚、混亂、不完整，或無法使用。 | 可用性有限；在清楚程度、完整性或用途適切性上有重大問題。 | 中等程度可用；大致可理解、可應用，但有明顯限制，或使用時需要投入額外心力。 | 相當可用；清楚、大致完整，大致能有效達成預定目的，僅有小幅限制。 | 高度可用且非常有效；極為清楚、結構良好，完全適合預定目的。 |
發現了什麼？
- 評分高，但不能確立模型優劣。 Gemini 在醫療正確性、真實感、角色一致性、相關性與教學可用性均為 5.00±0.00 分；同理心平均分數以 Claude 最高（4.96±0.18），Gemini 為 4.80±0.40。模型主效果未達顯著，F（3，6）＝0.85，p＝.52；構面主效果與交互作用也未達顯著。閱讀判斷： 未達顯著不能當成四模型等效的證據（pp. 6–7，表 1）。
- 對話長度與同理語句數差異明顯。 Gemini 對話最長、同理語句總數最多，ChatGPT 4o 最精簡；各模型平均值如下。閱讀判斷： 語句總數未依篇幅標準化，不能直接視為同理心較強；人工同理心評分也沒有呈現相同排序（pp. 7–8，表 2）。
| 模型 | 每份對話平均詞數 | 每份對話平均同理語句數 |
|---|---|---|
| ChatGPT 4.5 | 860.3 | 5.3 |
| ChatGPT 4o | 533.8 | 2.9 |
| Claude 3.7 Sonnet | 1,889.0 | 8.2 |
| Gemini 2.5 Pro | 3,688.3 | 12.6 |
- 高分與人口同質性同時出現。 40 名病人全是女性；年齡僅落在作者的 25–44 歲（55％）與 45–65 歲（45％）兩組，姓名也反覆出現，例如 Maria 有十次。這顯示本次提示下的生成資料未能涵蓋多元病人；作者將其解釋為可能反映訓練資料偏差，但研究未直接檢驗偏差來源（pp. 8、10–11）。
這個發現為什麼重要？
作者的意涵： 相同提示搭配臨床評閱與文字分析，提供了建立合成對話的可行流程，可用於教材草稿、模擬情境及醫療 AI 的開發測試。作者建議在提示中明訂不同性別、年齡與病況，並保留臨床審查；VR、感測器與檢索增強生成等應用則屬後續構想，未在本研究實作驗證（pp. 12–15）。
閱讀判斷： 這項研究評的是生成成品的品質與使用潛力，沒有讓學習者實際接受訓練，也未與相同情境的真實逐字稿直接比較。五點量尺可能有天花板效應，評分者僅來自單院單一專科，且主文未報告評分者間信度；每模型每情境僅一份材料，也未檢驗重複生成的穩定性。結論限於整形外科、這套提示及 2025 年 5 月的模型表現，不能據此判定教學效益或臨床互動能力（pp. 4–7、12–13）。
金句與可引用重點
教學效益尚待驗證｜原文摘句（節錄）
We did not directly compare synthetic dialogues with authentic transcripts from identical scenarios, nor did we assess real-world educational effectiveness or learning outcomes
— Haider et al.（2025，p. 12）
中文譯意： 本研究沒有直接比較相同情境的合成與真實逐字稿，也沒有評估實際教學成效或學習結果。
品質與代表性須分別檢查｜重點改寫： 即使醫療正確性、真實感與教學可用性的專家評分接近滿分，生成病人仍可能高度同質；本研究的 40 名病人全為女性（Haider et al.，2025，pp. 6、8、10–11）。
文獻資料
Haider, S. A., Prabha, S., Gomez-Cabello, C. A., Borna, S., Genovese, A., Trabilsy, M., Collaco, B. G., Wood, N. G., Bagaria, S., Tao, C., & Forte, A. J. (2025). Synthetic patient–physician conversations simulated by large language models: A multi-dimensional evaluation. Sensors, 25(14), Article 4305. DOI：10.3390/s25144305；公開全文（PMC）。
補充資料：Supplementary Table S1: Rubric for grading，共 4 頁。補充資料入口。
評分規準已對照補充表 S1。主文頁碼與 PDF 頁次一致；補充資料無印刷頁碼，故另以補充 PDF 頁次定位。 ↩︎