Nyttjande av bild-språk modeller för att förbättra diagnostisk noggrannhet och lokalisering av sjukdom vid medicinsk bildtagning

Forskningsprojekt, 2026 – 2030

I detta projekt utnyttjas de senaste framstegen inom AI, datorseende, och språkmodeller för att utveckla innovativa medicinska bildanalysmodeller som kan förbättra diagnostisk noggrannhet, lokalisera sjukdomsområden, samt uppskatta bedömningssäkerhet och öka förståelsen för hur modellen utvärderar bildmönster.Korrekt tolkning av medicinska bilder avgörande för att upptäcka sjukdom, planera behandling och bedöma prognos. Traditionella AI-metoder kräver ofta manuella pixel-uppmärkningar för attt lära sig lokalisera sjukdomsområden – en tidskrävande och kostsam process. Vårt mål är att utveckla multimodala modeller som utnyttjar både bilder och radiologiska textrapporter, vilket förbättrar både diagnos och effektivitet, och förmågan att generalisera till nya patientgrupper.Genom att använda text från rapporter som privilegierad information tillsammans med bilder under träning lär sig modellerna robusta representationer. Detta möjliggör att, även när rapporterna inte är tillgängliga (t.ex. direkt efter bildtagning), kan modellen ge en självsäker och noggrann bedömning baserad enbart på bilder. Dessutom kan vi efterlikna radiologens bedömningssäkerhet med hjälp av texterna, och tack vare rapporternas struktur kan modellerna lokalisera sjukdomsområden utan pixeluppmärkningar – vilket förbättrar svagt övervakad AI och möjliggör snabbare, mer kostnadseffektiva studier.Vår metod bygger på AI-metoder som kontrastinlärning, anpassad textkodning och smarta fusionsstrategier. Genom att även integrera information om behandling förbättras modellens förmåga att skilja mellan sjukdoms- och behandlingsrelaterade bildmönster, vilket ökar förklarbarheten. Våra metoder är generella, och projektet fokuserar initialt på lymfom i PET-data med syftet att öka noggrannheten, minska falska positiva resultat och onödiga tester, samt förbättra patientutfall. Samtidigt utvecklas nya metoder för multimodal priviligierad modellering, domänanpassning och svag övervakning inom medicinsk AI.