La Fondazione SIRM ha commissionato a Microsoft, PwC, Teorema e FifthIngenium la realizzazione di progetto per trasformare i file DICOM in modelli 3D per HoloLens.
I file DICOM sono prodotti dai sistemi per TAC, una loro interpretazione immersiva potrebbe aiutare la valutazione della comunità della Società Italiana di Radiologia Medica e Interventistica
La Fondazione SIRM con questo progetto intende testare le potenzialità d’uso di HoloLens nella Radiologia Interventistica come “acceleratore” dei processi di trasformazione digitale, sia in ambito formativo che nell’ambito dell’operatività clinica/chirurgica.
Le esigenze erano quindi duplici:
– Trasformare le immagini in 3D e renderle fruibili in ambito formativo con simulazione di procedure interventistiche di base e complesse, sfruttando le caratteristiche della Mixed Reality;
– Rendere le immagini radiologiche utilizzabili in modo semplice nella attività della sala operatoria e, in ambito diagnostico-terapeutico, consentire una più intuitiva e completa valutazione del quadro clinico con una più precisa pianificazione delle procedure interventistiche da adottare.
La soluzione proposta dal Team di Progetto è basata su un approccio per fasi così strutturato:
Fase 1: Sviluppo di una prima versione che consenta – a partire dalle immagini DICOM – la ricostruzione dell’ologramma in 3D dell’aorta utilizzabile in sala operatoria e su device multi connessi. L’applicazione HoloLens rende possibile una esperienza condivisa tra più utenti in cui il modello 3D può essere manipolato, con l’utilizzo delle mani e attraverso comandi vocali, e visualizzato nella sua interezza e/o tramite diversi piani di taglio. Lo sviluppo prevede inoltre l’implementazione di una infrastruttura Cloud basata su Microsoft Azure per la conversione dei file, il caricamento di informazioni sanitarie addizionali e la modellizzazione delle immagini 3D su piattaforma mobile.
Fase 2: Estensione per la ricostruzione dell’intero corpo umano (comprensivo di organi e vasi) ed integrazione della Mixed Reality con diversi scenari evolutivi (strumenti di force feedback integrati con fantocci per simulazione chirurgica, conversational bot, tecniche di machine learning applicate ai dati …)
La soluzione implementata dal Team di progetto garantisce i seguenti benefici:
– L’utilizzo di dati reali provenienti da immagini DICOM offre in fase di training una casistica molto più ampia rispetto agli approcci tradizionali.
– La fruibilità via web e su piattaforma mobile rende le informazioni condivisibili anche da remoto e abilita scenari di collaborazione e condivisione di competenze ed esperienze ovunque l’esperto si trovi.
– La condivisone di ologrammi 3D su Mixed Reality migliora l’efficacia e riduce i tempi di formazione degli specializzandi, offrendo una prospettiva completamente nuova e una esperienza condivisa unica.
– La costante disponibilità per il radiologo interventista dei dati del paziente in 3D e in tempo reale aiuta a ridurre il rischio clinico e migliora gli esiti della cura.
