AI – zadawanie pytań klinicznych

Naukowcy poczynili postępy w kierunku modeli uczenia maszynowego, które mogą pomóc lekarzom skuteczniej znajdować informacje w dokumentacji medycznej pacjenta.

EHR

Lekarze często przeszukują elektroniczną dokumentację medyczną pacjenta w celu uzyskania informacji, które pomagają im w podejmowaniu decyzji dotyczących leczenia. Niestety kłopotliwa natura tych danych utrudnia ten proces. Badania wykazały, że nawet jeśli lekarz został przeszkolony w zakresie korzystania z elektronicznej karty zdrowia (EHR), znalezienie odpowiedzi na tylko jedno pytanie może zająć średnio ponad osiem minut.

Im więcej czasu lekarze muszą poświęcić na poruszanie się po często niezgrabnym interfejsie EHR, tym mniej czasu mają na interakcję z pacjentami i zapewnienie leczenia.

Badacze rozpoczęli opracowywanie modeli uczenia maszynowego, które mogą usprawnić proces poprzez automatyczne wyszukiwanie informacji potrzebnych lekarzom w EHR. Jednak uczenie skutecznych modeli wymaga ogromnych zbiorów danych z odpowiednimi pytaniami medycznymi, które często są trudne do zdobycia ze względu na ograniczenia prywatności.

Aby przezwyciężyć ten niedobór danych, naukowcy z MIT nawiązali współpracę z ekspertami medycznymi, aby zbadać pytania, które lekarze zadają podczas przeglądania EHR. Następnie zbudowali publicznie dostępny zestaw danych zawierający ponad 2000 istotnych klinicznie pytań napisanych przez tych ekspertów medycznych.

Kiedy wykorzystali swój zestaw danych do trenowania modelu uczenia maszynowego do generowania pytań klinicznych, odkryli, że model zadawał wysokiej jakości i autentyczne pytania, w porównaniu z prawdziwymi pytaniami ekspertów medycznych w ponad 60% przypadków.

„Dwa tysiące pytań, może wydawać się że to dużo, ale kiedy spojrzysz na obecnie trenowane modele uczenia maszynowego, mają one tak dużo danych … może nawet miliardy punktów danych. Kiedy szkolisz modele uczenia maszynowego do pracy w placówkach opieki zdrowotnej, musisz być naprawdę kreatywny, ponieważ brakuje danych” – mówi główny autor Eric Lehman, doktorant w Laboratorium Informatyki i Sztucznej Inteligencji (CSAIL).

„Realistyczne dane mają kluczowe znaczenie dla modeli szkoleniowych, które są istotne dla zadania, ale trudne do znalezienia lub stworzenia” – mówi prof. Petere Szolovits EECS. „Wartość tej pracy polega na starannym zbieraniu pytań zadawanych przez klinicystów na temat przypadków pacjentów, na podstawie których jesteśmy w stanie opracować metody wykorzystujące te dane i ogólne modele językowe do zadawania dalszych prawdopodobnych pytań”.

Naukowcy odkryli, że większość pytań skupiała się na objawach, leczeniu lub wynikach testów pacjenta. W związku z tym nie były to pytanie nieoczekiwane. Natomiast ilościowe określenie liczby pytań dotyczących każdego szerokiego tematu pomoże im kiedyś lepiej zbudować skuteczny zestaw danych do wykorzystania w rzeczywistych warunkach klinicznych, mówi Lehman.

Wyzwalacz

Aby zbudować swój zestaw danych, naukowcy z MIT pracowali z praktykującymi lekarzami i studentami medycyny podczas ostatniego roku. Dali ekspertom medycznym ponad 100 podsumowań wypisów z EHR i kazali przeczytać podsumowanie i zadać wszelkie pytania, jakie mogą mieć. Naukowcy nie nałożyli żadnych ograniczeń na typy ani struktury pytań. Poprosili również ekspertów medycznych o zidentyfikowanie „tekstu wyzwalającego” w EHR, który skłonił ich do zadania każdego pytania.

Po skompilowaniu zestawu danych pytań i towarzyszącego mu tekstu wyzwalacza, wykorzystali go do trenowania modeli uczenia maszynowego do zadawania nowych pytań na podstawie tekstu wyzwalacza.

Następnie eksperci medyczni ustalili, czy te pytania były „dobre” za pomocą czterech wskaźników: zrozumiałość (Czy pytanie ma sens dla lekarza?), trywialność (Czy odpowiedź na pytanie jest zbyt łatwa z tekstu wyzwalającego?), znaczenie medyczne (Czy to jest ma sens zadawanie tego pytania w oparciu o kontekst?) i związek z wyzwalaczem (Czy wyzwalacz jest powiązany z pytaniem?).

Powody do niepokoju

Naukowcy odkryli, że kiedy model otrzymał tekst wyzwalający, był w stanie wygenerować dobre pytanie w 63% przypadków, podczas gdy człowiek zadawał dobre pytanie w 80% przypadków. Modele były w stanie odzyskać tylko około 25% odpowiedzi na pytania generowane przez lekarzy.

Ten wynik jest naprawdę niepokojący. To, co ludzie uważali za dobrze działające modele, było w praktyce po prostu okropne, ponieważ pytania ewaluacyjne, które testowali, nie były dobre na początku – mówi Lehman.

Wytwarzanie AI to ciągłe badania i próby zrozumienia tego jak konstruować rozwiązania. Tematy oczywiste nie zawsze są proste a teoretycznie proste odpowiedzi wywodzą się z bardzo trudnych zapytań. Cyfrowe odzwierciedlenie skomplikowanych procesów z naszego życia od zawsze było trudne. Teoretycznie najprostsze działania człowieka może być skomplikowane i odwrotnie, trudne procesy można mapować i rozwiązywać błyskawicznie.

Zespół wykorzystuje teraz pozyskane informacje do zbudowania modelu, który może automatycznie odpowiadać na pytania lekarzy w EHR. W następnym kroku wykorzystają swój zestaw danych do wytrenowania modelu uczenia maszynowego, który może automatycznie generować tysiące lub miliony dobrych pytań klinicznych, które można następnie wykorzystać do wytrenowania nowego modelu automatycznego odpowiadania na pytania.

Chociaż wciąż jest wiele do zrobienia, zanim ten model stanie się rzeczywistością, Lehman jest zachęcony dobrymi wynikami początkowymi, jakie zespół zademonstrował na tym zbiorze danych.