Bionic navigation: From emergent retinal optic flow to locomotor ballistic corrections in humans, for robotics
Doktorsavhandling, 2025

This thesis explores the development of bio-inspired methods for addressing complex navigation tasks in cyber-physical robotic systems. In human locomotion, a sensation of a visual flow cue is created by continuously registering moving visual features on the human retina. An interpretation of visual flow cues forms a low-level motion perception more commonly known as retinal optic flow. It is often mentioned and credited in recent human locomotor research, but is limited as a theory or concept. A computational method of reconstructing retinal optic flow fields in humans is introduced and studied along with its effect on intermittent control to initiate informed ballistic corrections. Unifying the theories of human visual perception, intermittent control, muscular control, and coordination, the analysis from experiments reveals that human response time is approximately 0.14s.

To achieve retinal optic flow reconstruction for robotics, a set of optic flow estimators is fairly and systematically evaluated on the run-time performance, reliability, and accuracy criteria. This work developed a formalized methodology utilizing a microservice paradigm and containerization technology to perform benchmarking and generate results. Doing so enables continuous integration, continuous deployment, and continuous experimentation, which are beneficial for research and development. Furthermore, this thesis found that the readiness of vehicles for adopting modern robotic software, with special emphasis on real-time computing, has matured and essentially turned vehicles into mobile data centers and capable robots. To show this partially, two optic flow-based local localization methods are demonstrated for marine vehicles in a littoral environment.

active gazing

human locomotor behavior

retinal optic flow

visual perception

smooth pursuit

locomotor control

active fixation

robotic navigation

optic flow

Bionics

neuromuscular behavior

SB-H4, Building Samhällsbyggnad I-II
Opponent: Associate Professor Gabriel Diaz, Rochester Institute of Technology, United States

Författare

Björnborg Nguyen

Chalmers, Mekanik och maritima vetenskaper, Fordonsteknik och autonoma system

Intermittent control and retinal optic flow when maintaining a curvilinear path

Scientific Reports,;Vol. 15(2025)

Artikel i vetenskaplig tidskrift

Application and evaluation of direct sparse visual odometry in marine vessels

IFAC-PapersOnLine,;Vol. 55(2022)p. 235-242

Paper i proceeding

Systematic benchmarking for reproducibility of computer vision algorithms for real-time systems: The example of optic flow estimation

IEEE International Conference on Intelligent Robots and Systems,;(2019)p. 5264-5269

Paper i proceeding

Containerized development and microservices for self-driving vehicles: Experiences & best practices

Proceedings - 2017 IEEE International Conference on Software Architecture Workshops, ICSAW 2017: Side Track Proceedings,;(2017)p. 7-12

Paper i proceeding

Blanch K., Nguyen B., Benderius O. Topographic flow based odometry


Människans förmåga att kunna navigera i sin dynamiska omvärld är ett komplext ämne med många involverade processer från synintryck till rörelse. Med inspiration från människan kan man lösa liknande utmaningar inom robotiken, för navigering. När en människa befinner sig i rörelse skapas ett optiskt flödes-intryck på ögats retina, vilket kallas för retinalt optiskt flöde. Det har sedan länge funnits en hypotes om att människan nyttjar retinalt optiskt flöde för att lokalt navigera sig själv med kort tidshorisont och i hög hastighet, t.ex. vid vardaglig bilkörning. Detta tros ha gett upphov till varför man i körskolor intuitivt lär ut "titta dit man vill"-strategin.

Genom att internt uppskatta behovet av att agera via externa stimuli, såsom retinalt optiskt flöde, avfyras ballistiska styrkorrektioner för att tillfälligt minska behovet. Hastiga koordinerade rörelsekorrektioner i extremiteter, även kallat reaching-rörelser, karakteriseras rörelseavståndet som en logistik funktion (S-kurva) och dess hastighet som en klockformad kurva (Gauss-kurva). I detta arbete har det visat sig att dessa korrektioner inte kan avbrytas abrupt, men istället kan överlagras för att förstärka eller dämpa den befintliga rörelsen. På grund av sin grundläggande karaktär, uppvisas även dessa rörelser vid styrning av exempelvis ett fordon (via ratten) då människor utför koordinerade rörelsekorrektioner. I detta arbete, unifierades av flera teorier inom mänsklig perception, rörelsemönster och beteende, framkommer genom experiment att mänsklig responstid är ca 0,14 sekunder mätt från synintryck till initiering av rörelse.

Arbetet undersöker även hur dessa forskningsresultat kan överföras till robotiken, någon som visar sig möjligt. För att kunna effektivt återskapa retinalt optiskt flöde utvärderades ett urval av lämpliga beräkningsalgoritmer på ett systematiskt och rättvist sätt. Utvärderingskriterier inkluderade exekveringstid, pålitlighet och noggrannhet. En formaliserad metod, baseras på mikrotjänstarkitektur, arbetades fram för att kunna uppnå jämförbara prestandaresultat. En positiv biprodukt är kontinuerlig integration, kontinuerlig utrullning och kontinuerligt experimenterande vilket är önskvärt vid mjukvaruutveckling för forskning. Slutligen, fann detta arbete att mognadsgraden hos farkost för realtidsberäkning för moderna mjukvaruutveckling är tillräcklig vilket evolverat dem till mobila datacenter och kraftfulla robotar. För att delvis påvisa detta, koncepttestades och demonstrerades två optiskt flödes-baserade lokaliseringsalgoritmer för fartyg i kustnära vatten.

Driver modelling with retinal optic flow

Chalmers, 2023-04-01 -- 2023-12-31.

Ämneskategorier (SSIF 2025)

Bioinformatik (beräkningsbiologi)

Robotik och automation

Datorgrafik och datorseende

Datavetenskap (datalogi)

Tillämpad psykologi

Reglerteknik

Infrastruktur

ReVeRe (Research Vehicle Resource)

ISBN

978-91-8103-110-2

Doktorsavhandlingar vid Chalmers tekniska högskola. Ny serie: 5568

Utgivare

Chalmers

SB-H4, Building Samhällsbyggnad I-II

Opponent: Associate Professor Gabriel Diaz, Rochester Institute of Technology, United States

Relaterade dataset

Closed raw data set for: Intermittent control and retinal optic flow when maintaining a curvilinear path [dataset]

URI: https://researchdata.se/en/catalogue/dataset/2024-471/1 DOI: 10.5878/xnax-zk75

Mer information

Senast uppdaterat

2025-09-23