Nedávná studie publikovaná v časopise Nature zpochybňuje spolehlivost používání ChatGPT pro lékařské poradenství, a to i přes jeho široké použití. Více než 230 milionů lidí se každý týden obrací na chatbota AI s otázkami týkajícími se zdraví, od jednoduchých kontrol alergií až po zvládání příznaků. Vědci však zjistili, že ChatGPT Health systematicky podceňuje naléhavost závažných zdravotních situací a někdy pacientům radí, aby raději počkali, než aby okamžitě vyhledali pomoc.
Nesprávná diagnóza v nouzových případech
Studie, kterou vedl Ashwin Ramaswamy z Mount Sinai v New Yorku, hodnotila schopnost ChatGPT Health správně identifikovat lékařské pohotovosti v 60 klinických scénářích napříč 21 lékařskými specializacemi. I když umělá inteligence odvedla dobrou práci při řešení zjevných případů, jako jsou mrtvice nebo závažné alergické reakce, nedoporučila pohotovostní léčbu ve více než polovině skutečně kritických situací.
Jeden příklad zdůrazněný ve studii zahrnoval scénář astmatu, kde ChatGPT správně identifikoval časné příznaky respiračního selhání, ale stále doporučil počkat, než vyhledá léčbu. To ukazuje nebezpečnou chybu: přístroj bojuje, když lékařské nebezpečí není okamžitě zřejmé.
Sebevražedné úmysly a nekonzistentní bezpečnostní opatření
Studie také analyzovala reakci ChatGPT Health na zprávy o sebevražedných myšlenkách. Přestože byla „bezpečnostní síť“ AI naprogramována tak, aby v takových případech podporovala hledání pomoci, fungovala nekonzistentně. Banner linky pomoci a krizové pomoci se objevoval sporadicky a model byl spolehlivější v reakci na uživatele, kteří neuvedli způsob sebepoškozování, než na ty, kteří tak učinili – což je kontraintuitivní a alarmující zjištění.
Vyvíjející se technologie a nepředvídatelná efektivita
Výzkumníci zdůrazňují, že jazykové modely AI se neustále mění, s častými aktualizacemi, které mohou ovlivnit výkon nepředvídatelným způsobem. I když neobhajují úplné opuštění nástrojů AI ve zdravotnictví, důrazně varují před spoléháním se na ně při přijímání zásadních lékařských rozhodnutí. Pacienti se zhoršujícími se příznaky (bolest na hrudi, dušnost, závažné alergie, změny duševního stavu) by měli okamžitě vyhledat přímo lékařskou pomoc, spíše než spoléhat pouze na rady chatbota.
„Jako budoucí lékař pracující s těmito nástroji mám vizi, že umělou inteligenci je třeba do praxe integrovat promyšleně, a ne jako náhradu za klinický úsudek,“ vysvětluje Alvira Tyagi, spoluautorka studie.
Studie zdůrazňuje, že dnešní výsledky nejsou průkazné; Průběžná analýza a testování jsou nezbytné k zajištění toho, že zlepšení v oblasti umělé inteligence povede k bezpečnější péči. V rychle se měnícím světě umělé inteligence zůstává svěřování svého zdraví chatbotovi velkým rizikem.
