Google Research dhe DeepMind prezantuan së fundmi MultiMedQA , modelin e madh të gjuhës me burim të hapur për qëllime mjekësore.
Ky model i ri gjuhësor kombinon HealthSearchQA (një grup të dhënash të reja me përgjigje falas për pyetjet mjekësore të kërkueshme në internet) me gjashtë grupe të dhënash ekzistuese me pyetje-përgjigje të hapura që mbulojnë rishikimet mjekësore profesionale, anketat dhe pyetjet e përdoruesve. Këtu përfshihet një metodologji për vlerësimin e përgjigjeve nga një model njerëzor, duke përfshirë faktet, saktësinë, dëmin e mundshëm dhe paragjykimin.
MultiMedQA ofron një grup të dhënash për pyetje me zgjedhje të shumëfishta, si dhe pyetje me përgjigje më të gjata, të cilat bëhen nga ekspertë mjekësorë dhe joprofesionistë.
Të dhënat e HealthSearchQA përbëhet nga 3,375 pyetje të bëra shpesh nga konsumatorët. Përzgjidhet duke përdorur diagnoza mjekësore dhe simptoma të shoqëruara. Të gjithë përdoruesit që kanë futur frazat e tyre fillestare shfaqen pyetjet e bëra shpesh të disponueshme publikisht, të cilat mbulohen duke përdorur të dhënat fillestare dhe krijohen duke përdorur motorin e kërkimit.
Modeli i zhvilluar në PalM
Shkencëtarët e Google zhvilluan modelet PaLM (Pathways Language Model) dhe LLM (Large language model) me 540 miliardë parametra dhe variacionin e tij Flan-PaLM (Scaling Instruction-Fineuned Language Models), të përshtatura për vlerësimet LLM duke përdorur MultiMedQA. Flan-PaLM arrin performancën më të mirë (SOTA) në temat klinike MedQA, MedMCQA, PubMedQA dhe MMLU, duke kombinuar nxitjen e disa provave, teknikat e zinxhirit të mendimit (CoT) dhe të vetë-konsistencës, shpesh duke tejkaluar ndjeshëm linjat bazë shumë të forta të LLM.
Pak më e dobët se ekspertët njerëzorë
Vlerësimi njerëzor, identifikon të metat kryesore në Flan-PaLM me përgjigjet. Modeli që zgjidh këtë problem është Med-PaLM, i cili pretendohet se performon mirë në krahasim me Flan-PaLM, por ende duhet të kalojë gjykimin e një eksperti mjekësor. Për shembull, një grup mjekësh zbuluan se 92,6% e përgjigjeve ndaj Med-PaLM ishin të barabarta me përgjigjet e dhëna mjekëve (92,9%), ndërsa 61,9% ishin përgjigje afatgjata ndaj Flan-PaLM, të cilat konsiderohen në përputhje me përgjigjet shkencore.
Gjithashtu, 5.8% e përgjigjeve të Med-PaLM u vlerësuan si potencialisht kontribuuese në rezultate negative, që është e krahasueshme me përgjigjet e dhëna për mjekët (6.5%).
Google nuk është unik
Jo vetëm Google, por edhe gjigantë të tjerë të teknologjisë kanë marrë guximin të zgjidhin kujdesin shëndetësor përmes inteligjencës artificiale. Microsoft dhe Meta janë kompanitë e tjera. Në atë pjesë, Microsoft po bashkëpunon me kompaninë OpenAI me një mjet gjuhësor GPT-3 për të lehtësuar bashkëpunimin midis punonjësve dhe mjekëve dhe për të përmirësuar efikasitetin e ekipeve të kujdesit shëndetësor.
Meta AI u përpoq të lëshonte Galactica në nëntor 2022, por ai program dështoi. I njëjti program u krijua nga inteligjenca artificiale, për të cilën ata pretenduan se do të mbështetej nga studiues akademikë, duke përdorur rishikimet e tyre të shumta të literaturës dhe hyrjet në Wiki për çdo temë. Ata dështuan për shkak të rezultateve jo të besueshme.
