Nuance ha svelato le novità della propria piattaforma Dragon Drive; diventerà un vero mobility assistant conversazionale.
In virtù di questi progressi, Nuance ha creato il primo mobility assistant cognitivo e multisensoriale del mondo, grazie a tecnologie come IA emozionale, interazione multimodale e realtà aumentata e funzionalità di conversazione avanzate. Un game changer, destinato a stravolgere le modalità con cui conducenti e passeggeri interagiscono con il proprio veicolo, con le altre forme di mobilità e trasporto e con le città intelligenti.
Grazie alla capacità di comprendere il tono di voce, le emozioni, i movimenti degli occhi e della testa e grazie alla profonda integrazione con sensori esterni ed interni all’auto, nonché con i bot e gli assistenti di terze parti tramite una piattaforma aperta, Dragon Drive sfrutta innumerevoli informazioni per offrire un’esperienza utente personalizzata e umanizzata. Un’esperienza fondamentale per il futuro dell’auto digitale, eliminando l’esigenza di pulsanti nei veicoli di oggi e offrendo un’esperienza utente umanizzata e multisensoriale basata sull’interazione simultanea di voce, vista, gesti ed emozioni. Ecco una sintesi dei vantaggi offerti:
Interazione con i POI (Point of Interest) migliorata dalla realtà aumentata: il rilevamento del movimento degli occhi, combinato al riconoscimento vocale, può essere utilizzato per l’interazione con i punti di interesse all’esterno dell’auto, consentendo al conducente di ottenere informazioni su ora, giudizi, ecc. I risultati vengono evidenziati nella realtà aumentata e visualizzati su un parabrezza intelligente che sfrutta uno schermo trasparente, sviluppato da Saint-Gobain Sekurit.
Auto senza pulsanti avanzata: sfruttando il riconoscimento vocale e il rilevamento del movimento degli occhi, gli utenti possono interagire in modo intuitivo con i widget disponibili sul parabrezza intelligente per accedere e ridefinire servizi e informazioni (quali telefono e rubrica, meteo, navigazione, musica) che in genere vengono mostrati sul display della plancia. Portando questi comandi al livello degli occhi del conducente sul parabrezza è possibile migliorare il comfort, la produttività e la sicurezza. La visibilità non verrà compromessa in alcun caso poiché l’utente può continuare a osservare ciò che accade al di fuori del veicolo attraverso l’immagine: un vero e proprio must, specialmente nel contesto dell’auto sempre più digitale e autonoma. Inoltre, il rilevamento dei movimenti della testa, in combinazione con il riconoscimento vocale, permette di attivare i comandi interni all’auto (ad esempio, il conducente può volgere lo sguardo verso il finestrino del lato passeggero e dire: “Apri il finestrino a metà”), riducendo quindi la necessità di utilizzare pulsanti per eseguire determinate operazioni.
Funzionalità contestuali e dialogo collaborativo ottimizzati consentono di fruire di un’esperienza ancora più umanizzata. I conducenti possono conversare con il mobility assistant proprio come se stessero parlando con un’altra persona, facendo riferimento a parti di discorsi precedenti, formulando domande e pronunciando comandi contestuali. Un esempio? “Apri il finestrino a metà,” seguito da “Ancora un altro po’”. E il tutto senza la necessità di utilizzare wake-up word.
Analisi degli stati emozionali e cognitivi: Dragon Drive utilizza l’intelligenza artificiale emozionale di Affectiva, oltre a fotocamere interne, per analizzare le espressioni del viso e il tono di voce, al fine di comprendere stati cognitivi ed emozionali complessi di conducenti e passeggeri, come ad esempio sonnolenza e distrazioni. L’assistente è addirittura in grado di cambiare la reazione e il tono di voce in base alla situazione, con sentimenti di empatia e pertinenza al contesto. In questo modo, è possibile migliorare la sicurezza su strada, prevenendo comportamenti di guida scorretti, nonché ottimizzare l’esperienza nel veicolo adattando l’ambiente agli umori e alle reazioni dei passeggeri.
Stefan Ortmanns, Executive Vice President e General Manager, Nuance Automotive
Il nostro principale obiettivo è trasformare qualsiasi interazione tra le persone e i prodotti e servizi mobili che utilizzano ogni giorno. I vantaggi offerti dal nostro mobility assistant avanzato sono immensi, e possono essere sfruttati in auto, nel settore dei trasporti, nelle città intelligenti, solo per citare qualche esempio. Si adattano, inoltre, agli stili di vita sempre più digitali dei consumatori. Grazie alle collaborazioni con i nostri partner OEM nel settore automobilistico, possiamo aprire una nuova era di “assistenti automobilistici”, trasformandoli in veri e propri assistenti alla mobilità.
