COLREG3 – Utforska potentialen hos stora språkmodeller i marina navigationssystem

Forskningsprojekt, 2023 – 2024

Den här förstudien utforskar den potentiella användningen av stora språkmodeller (LLM), såsom ChatGPT och GPT-4, i beslutsstödsystem för sjöfart. Syftet är att avgöra om dessa modeller kan vara en del av beslutsstödsystem för att identifiera och lösa komplexa trafiksituationer, eftersom detta skulle förbättra sjösäkerheten och effektiviteten samt minska miljöpåverkan från sjöfarten. Studien drar nytta av tidigare forskning som genomförts i COLREG2-projektet, COLREG 2 - Potential consequences of varying algorithms in traffic situations, som undersökte begränsningarna hos algoritmer avsedda att stödja lösningen av komplexa trafiksituationer. COLREG2 drog slutsatsen att de utvärderade algoritmerna hade allvarliga begränsningar och uttryckte skepsis angående utvecklingen av lämpliga algoritmer i nära framtid. Kort efter avslutningen av COLREG2-projektet visade stora språkmodeller sin otroliga förmåga att förstå och i viss mån resonera kring komplexa texter och uppgifter. Dessa förmågor tycks adressera bristerna hos de algoritmer som utvärderats i COLREG2-projektet, vilket gör användningen av stora språkmodeller i beslutsstödsystem för maritima trafiksituationer tankeväckande.
Utforskningen som genomförs i denna förstudie är uppdelad i tre uppgifter. Den första är "kommunikation av trafiksituationer", där olika sätt att kommunicera trafiksituationer till stora språkmodeller utforskas. Till exempel text som anger koordinater och riktningar eller diagram. Den andra uppgiften är "utvärdering av resonemang om trafiksituationer", där användbarheten av output genererad av de stora språkmodellerna utvärderas. Slutligen är den tredje uppgiften "finjustering av stora språkmodeller", där olika prompts och inställningar utforskas.
Den första slutsatsen är att nuvarande stora språkmodeller har en betydande begränsning: mycket dålig rumslig resonemangsförmåga. Denna begränsning hindrar helt deras användning för analys av maritima trafiksituationer, för att inte tala om beslutsstödsystem. Trots detta tror författarna att denna begränsning kan åtgärdas genom att ge LLM:er tillgång till "verktyg" eller genom att träna om dem för att förbättra deras rumsliga resonemang.
Den andra slutsatsen är att de nuvarande begränsningarna av LLM:er som beslutsstödsverktyg för navigation inte är omedelbart och helt uppenbara. Oroande nog är LLM:er oerhört framgångsrika på att låta kunniga, rimliga och auktoritativa samtidigt som de ger felaktiga påståenden. Noggranna validerings- och verifieringsramverk kommer att behövas för att operationalisera LLM:er som beslutsstödsystem för sjöfart. Denna förstudie bidrar till det framtida arbetet med att utveckla, verifiera och validera LLM:er för sjöfartsnavigation med NAVREAS-datasetet (se: http://github.com/mo-rise/navreas-dataset).