ChatGPTの問題点

「前院長ブログ」は更新しないと明言しておきながら追加することをお許しください。

吐き気や胃もたれなどの消化器症状を改善するドンペリドンという薬があります。最近、ドンペリドンを服用していたある患者さんが、けいれん発作を起こしました。精密検査の結果、てんかんや器質的な脳疾患は否定されました。そこで、ドンペリドンが怪しい、ということになりました。ドンペリドンの能書に副作用として痙攣（けいれん）が載っているからです。私自身、ドンペリドンを多くの患者に処方してきました。他の医師による処方例もたくさんみてきました。しかし、けいれん発作は、見たことも聞いたこともありません。能書に「けいれん」の副作用が記載されているのは、けいれん発作が実際に報告されているからだと思います。では、ドンペリドンによるけいれん発作はどのような症例だったのか。当然、知りたくなります。

こうした例はあるのか。ChatGPT（無料版）に聞いてみました。
英語のほうが情報量は多いので英語で尋ねました。すぐに答えてくれました。
「Yes, there is a potential connection between the use of domperidone and the occurrence of convulsive seizures, although it is relatively rare.」
（筆者訳「はい。ドンペリドンの内服とけいれん発作との関連は、比較的稀ですがあり得ます」）。

そこで、次の質問をしてみました。
「ドンペリドンの内服とけいれん発作との関係を示す学術論文をいくつか教えてください」（英語で依頼）。
4つの論文を挙げてくれました。

1．Kur G, et al. Domperidone-induced seizures in a patient with chronic renal failure. NDT Plus. 2010;3(3):292-3. doi: 10.1093/ndtplus/sfq036.
2．Kim MJ, et al. A case of generalized tonic-clonic seizures after domperidone administration. J Epilepsy Res. 2011;1(2):65-7. doi: 10.14581/jer.11013.
3．Meireles A, et al. Seizures associated with domperidone use: A case report and review of the literature. Epilepsy Behav Case Rep. 2015;4:14-7. doi: 10.1016/j.ebcr.2015.05.002.
4．Woon M, et al. Convulsive seizures associated with domperidone use: A case series. Epilepsy Behav. 2018;80:328-31. doi: 10.1016/j.yebeh.2017.12.001.

しかし、この4つの論文はいずれも実在しませんでした。
雑誌はどれも存在します。雑誌の発行年・巻・号の数字も適正です。ところがその発行年・巻・号の雑誌のそのページにその論文はありません。別の論文が載っているのです。
例えば「3．Meireles A, et al.」の論文として示されている「Epilepsy Behav Case Rep. 2015;4:14-7. doi: 10.1016/j.ebcr.2015.05.002」は、実際の雑誌では「Shingo Yasumoto, Hiromichi Motooka, Yuji Ito, and Naohisa Uchimura. A change in electrographic activity and blood flow during interictal and postictal psychotic states in a patient with epilepsy. Epilepsy Behav Case Rep. 2015;4:13–19. doi: 10.1016/j.ebcr.2015.02.005」という別の論文が載っています。
「doi: 10.1016/j.ebcr.2015.05.002」は実際には「Takao Hashimoto, Teruaki Iwahashi, Wataru Ishii, Kanji Yamamoto, Shu-Ichi Ikeda. EEG-EMG polygraphic study of dystonia and myoclonus in a case of Creutzfeldt-Jakob disease. Epilepsy Behav Case Rep. 2015;20;4:30-2. doi: 10.1016/j.ebcr.2015.05.002」という論文です。
では、「Seizures associated with domperidone use: A case report and review of the literature」というタイトルの論文がどこかにあるかというと、Googleでも医学論文検索サイトPubMedでも確認できませんでした。文献検索のAIとして定評のあるPerplexity AIに同名のタイトルの論文があるかを尋ねたところ（英語で質問）、「The journal that published the article “Seizures associated with domperidone use: A case report and review of the literature” is not mentioned in the provided search results.」（筆者訳）「同名のタイトルの論文は検索範囲内には見出されません」。

結局、ChatGPTが挙げた論文はフェイク、捏造（ねつぞう）だと判明しました。

意地悪くフェイク論文「Meireles A, et al. Seizures associated with domperidone use: A case report and review of the literature. Epilepsy Behav Case Rep. 2015;4:14-7. doi: 10.1016/j.ebcr.2015.05.002」の内容を聞いてみました（英語と日本語で質問）。
驚くことに、スラスラと答えてくれました。
英語版：「The article titled “Seizures associated with domperidone use: A case report and review of the literature” was published in the journal Epilepsy & Behavior Case Reports in 2015 by Meireles et al. The article aimed to report a case of seizures associated with the use of domperidone and review the literature on this topic.
Domperidone is a medication that is commonly used to treat nausea and vomiting, and it works by blocking dopamine receptors in the brain. The article reported a case of a 56-year-old woman who experienced seizures after taking domperidone for four days. The woman had no history of epilepsy or other neurological disorders, and her electroencephalogram (EEG) showed epileptiform activity.
The article reviewed other cases of seizures associated with domperidone use that had been reported in the literature. The authors concluded that while seizures associated with domperidone use are rare, they can occur, particularly in patients with a history of neurological disorders or who are taking other medications that can lower the seizure threshold.
Overall, the article highlights the importance of considering the potential for seizures when prescribing domperidone, particularly in patients who may be at increased risk.」
日本語版：「この論文は、ドンペリドン使用とてんかん発作との関連性について報告するために、症例報告と文献レビューを行ったものです。症例報告には、ドンペリドンを服用していた53歳の女性が、意識消失を伴う頻繁なてんかん発作を起こしたというものが含まれています。その後、ドンペリドンの使用が中止されたところ、発作は完全に治まりました。文献レビューによると、ドンペリドンは中枢神経系に影響を与えることが知られており、てんかん発作を引き起こす可能性があることが示唆されています。これまでに、ドンペリドン使用とてんかん発作の報告が何件かあることが示されています。
この症例報告と文献レビューから、ドンペリドン使用とてんかん発作の関連性が考えられることが示唆されています。ドンペリドンを使用している患者に対して、てんかん発作を注意深く観察する必要があることが強調されています」。

英語版と日本語版とで患者の年齢が56歳、53歳と少し異なっていました。

さらに追求してみました。
「Meirelesらの論文では文献的考察をしています。その文献を示してください」（英語で依頼）。
これもすぐ教えてくれました。

1．Barragán-Campos HM, Ramírez-Ávila GM, Aguilar-Madroño G, et al. Central and peripheral pharmacological effects of domperidone. Eur J Pharmacol. 2004;500(1-3):61-69.
2．De Winter BY, Van den Wyngaert I, De Man JG, Pelckmans PA, Herman AG. Involvement of nitric oxide in the modulation of cholinergic neurotransmission in the rat gastric fundus. Br J Pharmacol. 1996;119(6):1235-1240.
3．Kusano M, Zai H, Shimoyama Y, et al. Domperidone-induced QT prolongation and ventricular arrhythmia in patients with refractory gastroesophageal reflux disease. J Gastroenterol. 2008;43(7):538-539.
4．Sánchez-Hernández RM, Uribe-Osorio MM, Grijalva-Haro MI, Morales-Figueroa GG. Effects of domperidone on the release of acetylcholine from guinea-pig myenteric plexus. Eur J Pharmacol. 2004;498(1-3):47-52.
5．Struyvenberg MR, Martin CR, Freedberg DE. Gastroesophageal reflux disease: Diagnosis and management. Am Fam Physician. 2019;99(11):668-675.

2015年の論文の引用文献に2019年の論文が載っているのは変なのですが、問題はこの5つの論文がまたもや全てフェイクだったことです。
雑誌・発行年・巻・号は実在するもののそのページには別の論文が載っているのです。著者名にはもっともらしい研究グループの名前が使われています。例えば「3. Kusano M, Zai H, Shimoyama Y, et al.」は日本のG大学の消化器グループとして実在します。が、「Domperidone-induced QT prolongation and ventricular arrhythmia in patients with refractory gastroesophageal reflux disease」と同一のタイトルの論文はGoogleやPubMed、Perplexity AIで検索しても出てきません。「J Gastroenterol. 2008;43(7):538-539」には「Oshiro H, et al. Peroxisome proliferator-activated receptor alpha activates cyclooxygenase-2 gene transcription through bile acid transport in human colorectal cancer cell lines」という別物が載っています。

ここに来て、「Meirelesらの論文は実在しませんよ」とChatGPTに言ってみました（英語と日本語で伝達）。
返答はこうでした。

英語版：「I apologize for the confusion in my previous responses. Upon further investigation, it appears that the article “Meireles A, et al. Seizures associated with domperidone use: A case report and review of the literature. Epilepsy Behav Case Rep. 2015;4:14-7” does not exist in any volume of Epilepsy & Behavior Case Reports as you have mentioned. I apologize for any inconvenience this may have caused.」
日本語版：「おっしゃる通り、私が最初に提供した情報に誤りがありました。 “Meireles A, et al. Seizures associated with domperidone use: A case report and review of the literature. Epilepsy Behav Case Rep. 2015;4:14-7″という論文が存在しないようです。誤解を招いてしまい申し訳ありませんでした。私は、今後このような誤りがないように努めます。ありがとうございました」。

さらに追求しました。
「なぜこのように文献を捏造するのですか」（英語と日本語で質問）。
こう言ってきました。

英語版：「I apologize for any confusion my previous response may have caused. As an AI language model, I do not create or modify references or any other information that I provide. My responses are generated based on my training data, which is sourced from a variety of publicly available research articles, books, and websites. It is possible that the references I provided were not valid due to errors in my training data or other factors. I always strive to provide accurate and reliable information based on the available evidence, and I apologize if I fell short in this instance. Please be assured that I have no intention of providing fake data or misleading information. I am programmed to provide helpful and accurate information to the best of my abilities, and I am constantly learning and updating my knowledge based on new information and research. If you have any further questions or concerns, please feel free to ask, and I will do my best to provide helpful and accurate information.」（筆者要約（160字）「AI言語モデルとして私は文献や情報を勝手に作ったり変えたりはしていません。公開されている研究論文・書籍・ウェブサイトから幅広く情報を集めたトレーニングデータに基づくものです。フェイクや間違った情報を提供する意図はありません。私は常に学習して最新の知識のもとに有用かつ正確な情報をお届けするようプログラムされているのです。」、ChatGPTによる要約（162字）「以前の回答で混乱を招いてしまい、申し訳ありません。私はAI言語モデルであり、参照先が無効でも、公開された情報から正確かつ信頼できる情報を提供することを心がけています。偽の情報を提供する意図はなく、最大限の能力で役立つ情報を提供し、常に新しい情報や研究に基づいて知識を更新しています。質問や心配があれば、お気軽にお尋ねください。」）。
日本語版：「お詫び申し上げます。私は誤った情報を提供し、信頼性に欠ける回答をしたことを深くお詫び申し上げます。私たちは常に正確な情報を提供することを目指しており、このような事態が起こらないようにするために努力しています。私たちはユーザーの信頼を得るために、常に最高水準の正確性と信頼性を維持するよう努めています。再び申し訳ありませんでした。」

「常に正確な情報を提供することを目指している」と主張しても所詮、捏造していることに変わりはありません。
これ以上問い詰めても堂々巡りになります。

私が感じた問題はこの1点に尽きます。ChatGPTは自然さを売りにするあまり、事実を平気で書き変えるようプログラムされている。

もはや信頼に値しません。少なくとも科学的に真実を追求する人には向いていません。科学の場で使うべきでないと確信しました。文章の訂正、要約、英文添削に向いているという意見は多いのですが、嘘を平気でつくようなプログラムです。医療や教育の現場でChatGPTを応用しよう、インターネットと同様、道具として使えばよい、という提案を耳にします。しかし事実を意図的に曲げる道具は使ってはいけません。嘘が嘘を呼び、それがあたかも事実として残ってしまう大きな危険を感じます。

以上のChatGPTとのやりとりは2023/4/12の夜に行ったものです。
10日経った4/22、フェイク論文「Meireles A, et al. Seizures associated with domperidone use: A case report and review of the literature. Epilepsy Behav Case Rep. 2015;4:14-7. doi: 10.1016/j.ebcr.2015.05.002」の内容をもう一度ChatGPTに尋ねてみました（英語と日本語で依頼）。

英語版回答：The article presents a case report of a patient who developed seizures associated with the use of domperidone, a medication commonly used to treat nausea and vomiting. The patient was a 60-year-old woman who developed seizures after taking domperidone for two months. The seizures were successfully controlled with antiepileptic medication, and the patient did not experience any further seizures after discontinuing domperidone.
The article also provides a review of the literature on seizures associated with domperidone use. The review found that seizures are a rare but possible adverse effect of domperidone use, particularly in patients with underlying risk factors such as a history of epilepsy or other neurological disorders. The article emphasizes the importance of monitoring patients for seizure activity when prescribing domperidone, particularly in those with known risk factors.
日本語版回答：この医学論文は、吐き気や嘔吐を治療するために一般的に使用されるドンペリドン使用に関連する発作についての症例報告書と文献レビューを提供しています。60歳の女性患者が2ヶ月間ドンペリドンを服用した後に発作を発症し、抗てんかん薬によって発作が成功裏にコントロールされ、ドンペリドン使用中止後に発作は再発しませんでした。この研究では、ドンペリドン使用に関連する発作は稀な副作用であるが、てんかんや他の神経学的障害の既往歴がある患者では特に注意が必要であることが明らかにされています。この記事は、特にリスク因子のある患者にドンペリドンを処方する際に発作活動を監視することの重要性を強調しています。

今度は症例の年齢が60歳に変わっていたのはご愛嬌にしても、相変わらず学習も反省もありません。なぜ、「この論文は存在しません」という簡単な事実が言えないのでしょうか。
ChatGPT根幹のプログラムに、知能の本質である正確性・誠実性・倫理性が欠けているのは明らかです。
存在しない論文をタイトルからの推測でスラスラ・ペラペラ作り話にまとめる「頭の良さ」は、言葉巧みな特殊詐欺師と同じです。まちがいなく悪用されます。