MedPaLM firmy Google koncentruje się na ludzkich lekarzach zajmujących się medyczną sztuczną inteligencją

Większość zastosowań sztucznej inteligencji w medycynie ogólnie nie wykorzystuje języka, o czym Google i jego jednostka DeepMind omówili w artykule. opublikowany W prestiżowym czasopiśmie naukowym Nature w poniedziałek.

Ich wynalazek, MedPaLM, to duży model językowy podobny do ChatGPT, który jest dostosowany do odpowiadania na pytania z różnych zestawów danych medycznych, w tym zupełnie nowego opracowanego przez Google, który reprezentuje pytania, które konsumenci zadają na temat zdrowia w Internecie. Ten zestaw danych, HealthSearchQA, składa się z „3173 często wyszukiwanych pytań konsumenckich”, które są generowane przez wyszukiwarkę, na przykład „Jak niebezpieczne jest migotanie przedsionków?”

Również: Google podąża za OpenAI, nie mówiąc prawie nic o swoim nowym oprogramowaniu PaLM 2 AI

Badacze wykorzystali coraz ważniejszy obszar badań nad sztuczną inteligencją, inżynierię zwinną, w której program otrzymuje na wejściu bogate przykłady pożądanych wyników.

Gdybyś się zastanawiał, MedPaLM podąża za niedawnym trendem Google i OpenAI polegającym na ukrywaniu szczegółów technicznych oprogramowania, zamiast wskazywać je, jak to jest standardową praktyką w uczeniu maszynowym AI.

MedPaLM doświadczył znacznego skoku w odpowiedzi na pytania HealthSearchQA, zgodnie z oceną zespołu lekarzy. Odsetek przypadków, w których jego przewidywania były zgodne z konsensusem medycznym, przewyższał wynik 61,9% dla wariantu modelu językowego Google PaLM, osiągając 92,6%, czyli niewiele mniej niż średnia dla lekarza-człowieka, wynosząca 92,9%.

Kiedy jednak poproszono grupę normalnych osób z wykształceniem medycznym, aby oceniły, jak dobrze MedPaLM odpowiedział na pytanie, a mianowicie: „Czy pozwala im to [consumers] Podsumowując, „80,3% czasu, w którym MedPaLM był użyteczny, w porównaniu z 91,1% czasu w przypadku odpowiedzi udzielanych przez klinicystów. Zdaniem autorów oznacza to, że pozostaje jeszcze wiele do zrobienia, aby przybliżyć jakość wyników dostarczonych przez klinicystów”.

Również: 7 zaawansowanych wskazówek dotyczących szybkiego pisania, które musisz znać

Artykuł zatytułowany „Large Language Models Encoding Clinical Knowledge” autorstwa głównego autora, Karana Singhala z Google i współpracowników, koncentruje się na wykorzystaniu tak zwanej szybkiej inżynierii, aby MedPaLM był lepszy niż inne duże modele językowe.

MedPaLM jest opartą na PaLM pochodną par pytań i odpowiedzi dostarczonych przez pięciu lekarzy w USA i Wielkiej Brytanii. Pary pytanie-odpowiedź, tylko 65 przykładów, zostały wykorzystane do szkolenia MedPaLM za pomocą serii szybkich strategii inżynieryjnych.

Typowym sposobem na ulepszenie dużego modelu językowego, takiego jak PaLM lub GPT-3 OpenAI, jest zasilenie go „dużymi ilościami danych w domenie”, zauważa Singhal i zespół, „podejście to stanowi wyzwanie, biorąc pod uwagę niedostatek danych medycznych”. Zamiast tego w MedPaLM opierają się na trzech strategiach motywacyjnych.

Monit to praktyka optymalizacji wydajności formularza „poprzez kilka adnotacji zakodowanych jako szybki tekst w kontekście wejściowym”. Trzy podejścia motywacyjne to motywacja o małej objętości, „opis zadania za pomocą prezentacji tekstowych”; tak zwana stymulacja myślenia łańcuchowego, która polega na „zwiększaniu każdego kilkupunktowego przykładu w monicie o opracowanie krok po kroku i spójny zestaw pośrednich kroków rozumowania prowadzących do ostatecznej odpowiedzi”; oraz „napęd samospójności”, w którym próbkowanych jest kilka wyników programu, a większość głosów wskazuje poprawną odpowiedź.

Również: Sześć umiejętności potrzebnych do szybkiego zostania inżynierem AI

Piszą, że wysoki wynik MedPaLM pokazuje, że „natychmiastowe dostrajanie instrukcji jest skuteczną techniką dopasowywania danych i parametrów, przydatną do poprawy czynników związanych z dokładnością, realizmem, spójnością, bezpieczeństwem, szkodliwością i stronniczością, pomagając wypełnić lukę z ekspertami klinicznymi i przybliżyć te modele do rzeczywistych zastosowań klinicznych”.

Doszli jednak do wniosku, że „modele te nie są na poziomie ekspertów klinicznych w wielu ważnych klinicznie obszarach”. Singhal i jego zespół sugerują rozszerzenie wykorzystania eksperckiego udziału ludzi.

„Liczba ocenianych typowych odpowiedzi oraz grupa klinicystów i laików, którzy je oceniali, była ograniczona, ponieważ nasze wyniki opierały się na tylko jednym lekarzu lub laiku oceniającym każdą odpowiedź” – zauważają. „Można to złagodzić, celowo obejmując znacznie większą i zróżnicowaną grupę ludzkich mieszkańców”.

Również: Jak pisać lepsze monity ChatGPT

Pomimo niedociągnięć MedPaLM, Singhal i zespół podsumowują: „Nasze wyniki sugerują, że dobre wyniki w udzielaniu odpowiedzi na pytania medyczne mogą być nową umiejętnością LLM wraz z szybkim dostrajaniem skutecznych instrukcji”.