La Multimedia Information Extraction fa riferimento alla capacità di saper estrarre informazioni rilevanti da contenuti che non sono sempre immediatamente interpretabili da una macchina, perché destrutturati, quindi difficilmente catalogabili e analizzabili. Secondo uno studio di IDC, “Data Age 2025” entro il 2025 l’80% circa dei dati prodotti in azienda sarà di tipo non strutturato e multimediale: audio, video, immagini, documenti testuali complessi, file XML o PDF, ma anche streaming di record provenienti da sensori e oggetti connessi in ottica IoT.

 

Le finalità dell’Information Extraction multimediale

Le principali finalità della Multimedia Information Extraction sono la descrizione di eventi e la loro previsione. Nel primo caso, si procede a identificare la struttura dei dati attraverso l’isolamento di schemi interpretabili per comprendere meglio un fenomeno. Nel secondo, invece, si punta a scovare schemi ricorsivi, per ipotizzare l’andamento futuro di una variabile sulla base del suo andamento passato.

 

Information Extraction dai dati multimediali: come si fa

L’estrazione di informazioni dai dati multimediali presuppone l’uso di tecnologie di Data Mining applicate a testi complessi, file audio e video, immagini, flussi di record provenienti da sistemi di rilevazione e sensori IoT.

Ecco quali sono gli approcci di Information Extraction più comuni, che permettono di convertire quantitativi enormi di record all’apparenza inconsistenti o incoerenti in informazioni in grado di orientare i processi di business.

 

Processing dei testi: text mining e sentiment analysis

L’analisi dei testi attuata con le tecniche di Natural Language Processing (NLP) permette di convertire il linguaggio comune scritto in un insieme di dati codificati. È, quindi, possibile categorizzare i testi, estrarre particolari informazioni o concetti, clusterizzare e raggruppare i documenti che parlano dello stesso argomento e addirittura comprendere le emozioni di chi li ha redatti. Tra le principali applicazioni del text mining c’è l’e-mail filtering, ovvero l’organizzazione dei messaggi di posta secondo specifici criteri, per rispondere a finalità di sicurezza o di ricerca rapida. Anche l’opinion mining (sentiment analysis) è utilizzato in molte aziende: la possibilità di comprendere l’attitudine e i sentimenti di chi ha scritto un’e-mail o un post si rivela un prezioso aiuto per i customer care e i social media manager. Grazie al text mining è anche possibile ottimizzare le attività di recruiting attraverso l’analisi profonda del curriculum vitae attuata attraverso gli algoritmi AI, per identificare in modo automatico competenze particolari e soft skill altrimenti non immediatamente rilevabili.

 

Video mining

I file video contengono una molteplicità di dati di formati diversi – testo, immagini, metadati, audio. Risulta difficile, quindi, estrarre informazioni significative senza l’uso di tecnologie di video mining. Le finalità dell’Information Extraction condotta attraverso il video mining sono la segmentazione automatica dei video, la classificazione basata sui contenuti e il rilevamento degli eventi che causano una risposta automatica (trigger). Le principali applicazioni del video mining sono l’indicizzazione semantica del video, che consente ad esempio di attivare una ricerca basata sul contenuto effettivo del video e non su titolo e metadati, la sottotitolazione automatica del video, anche in real-time durante eventi live e con traduzione automatica della lingua dello speaker.

 

Image processing

Dal riconoscimento facciale all’analisi della firma, per arrivare al mining delle fotografie, le applicazioni di image processing permettono di valorizzare informazioni, pattern ricorrenti e dati rilevanti “nascosti” nelle immagini digitali. Le applicazioni commerciali, sfruttando l’information extraction sono le più diverse. Per esempio, il riconoscimento automatico di loghi e brand presenti all’interno di una fotografia, per cui è possibile effettuare una brand reputation anche se il brand non viene mai menzionato esplicitamente nel testo. Ma anche lo shopping digitale (con verifica dei documenti inclusa) e la customer experience potenziata rispetto al contesto, per cui se il consumatore pubblica sui social una foto mentre è in giardino riceve in tempo reale offerte pertinenti – arredamento da esterni, tende da sole, fiori e piante. Non va dimenticato, poi, che l’image processing in tempo reale è alla base degli approcci di produzione “zero difetti” che si vanno diffondendo nel settore manifatturiero e di molti sistemi antifrode utilizzati in ambito finanziario e assicurativo.

 

Audio processing

Nell’ambito delle applicazioni multimediali, i dati audio giocano spesso un ruolo importante. Ecco perché i processi di Information Extraction fondati sull’audio processing diventano sempre più rilevanti. Molti contratti oggi vengono siglati al telefono, mentre si parla con l’operatore del contact center. Le attività di supporto e customer care, poi, sono di frequente prese in carico da un software (bot) che utilizza le tecnologie di speech recognition, il riconoscimento del linguaggio parlato, per comprendere le richieste d’aiuto. L’audio processing diventa, quindi, indispensabile non solo per inquadrare immediatamente il problema di chi chiama ma anche per comprendere il tono della voce dell’utente e capire se, per esempio, è tranquillo oppure si sta arrabbiando, indirizzando il bot verso percorsi mirati di customer care.

Infografica - estrarre valore dai dati