Nawet najbardziej wyrafinowane algorytmy i technologie nie mogą diagnozować i leczyć chorób bez udziału człowieka – stwierdzili naukowcy z Collegium Medicum UMK, po tym, jak w zaprojektowanym przez nich badaniu ChatGPT „oblał” egzamin z interny.
Źródło: Nauka w Polsce, Katarzyna Czechowicz
Ogromny postęp, jaki dokonał się w ostatnich latach w dziedzinie sztucznej inteligencji, spowodował, że wiele prac, dotychczas zarezerwowanych dla ludzi, mogą już wykonywać modele i algorytmy. Także nowoczesna medycyna zaczyna korzystać z możliwości AI. Trwają badania nad jej wykorzystaniem do projektowania nowych leków, wspomagania lekarzy w procesie diagnostycznym, przewidywania pandemii czy zastępowania chirurgów podczas operacji. Od jakiegoś czasu coraz częściej słychać też o eksperymentach, w których modele sztucznej inteligencji z powodzeniem zdają egzaminy lekarskie i udzielają “pacjentom” porad dokładniejszych czy bardziej empatycznych niż lekarze.
Jak jednak pokazały wyniki najnowszego badania ekspertów z Collegium Medicum im. Ludwika Rydygiera w Bydgoszczy, o których poinformował Marcin Behrendt na portalu UMK, nie nadszedł jeszcze ten moment, kiedy będziemy mogli powierzyć sztucznej inteligencji całkowitą opiekę nad chorymi, szczególnie w dziedzinie chorób wewnętrznych, czyli interny.
Ponieważ słynny ChatGPT przeszedł pozytywnie takie testy, jak amerykański egzamin licencjonowania medycznego (USMLE), europejski egzamin z podstawowej kardiologii czy egzamin w ramach programu oceny wiedzy okulistycznej (OKAP), polscy naukowcy postanowili zbadać, czy model ten będzie w stanie zdać polski egzamin wymagany do uzyskania tytułu specjalisty chorób wewnętrznych. Jak podkreślają, ich badanie było pierwszym na świecie, w którym podjęto się oceny AI w dziedzinie interny.
Chatowi zaprezentowali łącznie 1191 pytań, jakie pojawiły się na egzaminach certyfikacyjnych w latach 2013-2017. Usunięto tylko te zadania, których z przyczyn technicznych (np. zawierających obrazki) nie byłby w stanie rozwiązać.
Okazało się, że wskaźnik poprawnych odpowiedzi, który uzyskał ChatGPT, wahał się od 47,5 proc. do 53,33 proc. (mediana 49,37 proc.). Było to więc zdecydowanie za mało, aby zaliczyć egzamin. “We wszystkich sesjach wyniki ChatGPT były znacznie gorsze od wyników egzaminowanych ludzi, których wyniki wahały się między 65,21 proc. a 71,95 proc” – zaznaczyli naukowcy z Bydgoszczy. (Minimalny wymóg to 60 proc. poprawnych odpowiedzi).
Wyniki modelu językowego wykazały znaczące różnice w zależności od długości pytania. Chat najlepiej radził sobie z pytaniami najkrótszymi, następnie długimi, bardzo długimi, a na końcu krótkimi i tymi o średniej długości. Co ciekawe, u ludzi wyglądało to bardzo podobnie.
W odniesieniu do trudności pytań odkryto, że poprawność odpowiedzi ChatuGPT stopniowo spadała wraz ze wzrostem trudności zadania, co także jest zgodne z ludzkimi zachowaniami.
Dodatkowo sprawdzono skuteczność AI w odpowiadaniu na pytania z poszczególnych dziedzin medycyny wewnętrznej. Okazało się, że najlepiej radził sobie tymi z zakresu alergologii (71,43 proc.), a następnie chorób zakaźnych (55,26 proc.), endokrynologii (54,64 proc.), nefrologii (53,51 proc.), reumatologii (52,83 proc.), hematologii (51,51 proc.), gastroenterologii (50,97 proc.), pulmonologii (46,71 proc.) i diabetologii (45,1 proc.), a najgorzej z kardiologią (43,72 proc.).
“W ostatnich latach sztuczna inteligencja poczyniła znaczne postępy i zyskała znaczną popularność w różnych dziedzinach – napisali autorzy w podsumowaniu swojej publikacji. – Jej dotychczasowe zastosowania w opiece zdrowotnej obejmowały np. katalogowanie i interpretację dużych zbiorów danych czy opracowywanie i wdrażanie algorytmów diagnostyczno-terapeutycznych. AI wydaje się być bardzo pomocna, biorąc pod uwagę niedofinansowanie systemów opieki zdrowotnej, problem wypalenia zawodowego wśród personelu medycznego i niedobory kadrowe”.
Jednak, co podkreślili, z przeprowadzonego przez nich badania (jak i kilku analogicznych) wynika, że możliwości sztucznej inteligencji są nadal mocno ograniczone i obecnie trudno jest jej konkurować z wiedzą fachową wyszkolonych pracowników ochrony zdrowia, zwłaszcza w dziedzinie chorób wewnętrznych.
Badacze zaznaczyli też, że ich eksperyment miał kilka ograniczeń. Po pierwsze egzamin przeprowadzony był w języku polskim, a sam ChatGPT zaprojektowano po angielsku. Poza tym model ten podlega regularnym aktualizacjom, więc wersja zastosowana w badaniu nie była tą najnowszą w momencie publikacji. (PAP)
Przeczytaj także: Prawo.pl: pierwszeństwo lekarza nad pacjentem w dostępie do wyników jego badań
