LaCulturaDelDato #115

Dati & algoritmi attraverso i nostri 5 sensi

For my English speaking friends, click here for the translated version

Ciao,

sono Stefano Gatti e questo è il centoquindicesimo numero della newsletter LaCulturaDelDato: dati & algoritmi attraverso i nostri 5 sensi. Le regole che ci siamo dati per questo viaggio le puoi trovare qui.

Ecco i cinque spunti del centoquindicesimo numero:

👃Investimenti in ambito dati e algoritmi. L’ ascesa dei Robot: Come l'AI Generativa sta per rivoluzionare la manifattura

Scrivo periodicamente su questo tema perché, come molti, sono convinto che una delle aree in cui vedremo i maggiori benefici economici dall'introduzione della nuova ondata di AI generativa sia la robotica. Ritengo che sia cruciale per l'Italia, data la nostra forte inclinazione manifatturiera, non rimanere esclusi da questo trend, anche considerando la grave crisi demografica che stiamo iniziando a sperimentare. Tra i molti, ben più autorevoli di me, ottimisti riguardo l'evoluzione e l'accelerazione che la robotica subirà a breve, figura Bill Gates. 
Ti consiglio di leggere questa breve nota di Gates, "The start-ups making robots a reality", non solo perché illustra l'importanza di questa evoluzione meglio di quanto possa fare la mia sintetica introduzione, ma anche perché presenta cinque start-up che stanno innovando significativamente in questo settore, operando in ambiti molto diversi tra di loro.

Se sei interessato a scoprire più dettagli sul perché di questa accelerazione dai un’occhiata a Covariant, un'azienda fondata da ex membri di OpenAI, che non produce robot ma migliora sostanzialmente il software alla base della attuale evoluzione della robotica. Investi 3 minuti a guardare questo breve video. Mostra la principale caratteristica che sta migliorando le funzionalità dei robot cioè la loro crescente capacità di apprendere dal comportamento umano e di interagire con esso in modo più naturale e rapido.

Se vuoi capire come sia possibile tecnicamente, visita il sito di Covariant per leggere come funziona il loro modello di punta, il RFM-1 (Robot Foundational Model). Scoprirai che si comporta in maniera non troppo dissimile dai suoi "fratelli" LLM, ma applicato a domini diversi e in un contesto multimodale.

🖐️Tecnologia (data engineering). Ensembling e Prompting: I superpoteri nascosti dei modelli generalisti?

“Gli LLM generalisti, come GPT-4, hanno mostrato capacità sorprendenti in un'ampia varietà di domini e compiti. Tuttavia, l'ipotesi prevalente è che non siano in grado di capacità specialistiche senza un addestramento intensivo con conoscenze specialistiche. Ad esempio, la maggior parte delle esplorazioni condotte finora sui benchmark delle competenze mediche ha fatto leva sulla formazione specifica di dominio, come esemplificato dagli sforzi su BioGPT e Med-PaLM... Oltre all'uso intenzionale di semplici prompt per evidenziare le capacità del modello, abbiamo effettuato un'esplorazione sistematica dell'ingegneria dei prompt per aumentare le prestazioni. Abbiamo scoperto che l'innovazione dei prompt può sbloccare capacità specialistiche più profonde e abbiamo dimostrato che GPT-4 supera facilmente i risultati precedenti per quanto riguarda le risposte a domande mediche... Come culmine dello studio abbiamo introdotto Medprompt, basato su una composizione di diverse strategie di prompt. Medprompt migliora notevolmente le prestazioni di GPT-4 e raggiunge lo stato dell'arte su tutti e nove i dataset di riferimento.”

Questa è la sintesi dell’abstract di uno dei paper sull’utilizzo di nuove tecniche nell’ambito del prompt engineering che mi ha più colpito negli ultimi mesi e che ha messo a dura prova alcune mie convinzioni sulla necessità di fine-tuning specifico nel futuro, quanto più i modelli generalisti diventeranno performanti in termini di ragionamento e si allargherà sempre di più la finestra di contesto che hanno a disposizione. Le tecniche usate da Medprompt per migliorare le risposte di GPT-4 in un ambito tecnico come quello medico sono diverse e ti riporto sotto la figura chiave che le illustra in maniera visuale evidenziando il contributo di ciascuna a livello di accuratezza di risultato finale.

Tra queste tecniche, quella che mi ha più colpito è “l'ensembling, che usa gli output di più modelli per ottenere un risultato più robusto o accurato, combinando gli output con funzioni come la media e il consenso o il voto a maggioranza... Se da un lato l'ensembling può migliorare le prestazioni, dall'altro comporta un aumento dei requisiti computazionali di calcolo”. Francamente mi ricorda, in un altro contesto, la tecnica che ha portato dagli alberi decisionali al random forest, negli algoritmi di classificazione, a migliorare decisamente le performance. In aggiunta, le crescenti velocità di risposta degli LLM (token/secondo) potrebbero rendere meno critico il tema delle performance di usare più risposte (modelli) in parallelo. Forse che la velocità di risposta degli LLM stia per diventare quello che il clock delle CPU è stato per la velocità dei personal computer per più di 50 anni?

👂🏾Organizzazione e cultura dei dati e algoritmi nelle organizzazioni. I Primi 90 Giorni (e non solo) da Head of Data: Tra Sfide e Strategie

Il ruolo dello Head of Data o Chief Data Officer, non è per nulla semplice, soprattutto nelle fasi iniziali per chi entra dall’esterno dell’organizzazione. Ho vissuto e osservato questa situazione diverse volte in vari tipi di aziende e in diversi contesti storici. Non intendo spaventarti né annoiarti con eccessive esperienze personali, ma vorrei suggerirti qualche approfondimento utile se sei in qualche modo coinvolto, direttamente o indirettamente, in questo ambito/processo.

Per iniziare, ti consiglio questo post: “Your first 90 days as a Head of Data”. Illustra le difficoltà iniziali nel ruolo di guida nel mondo dei dati in azienda e offre consigli pratici raccolti da chi sta effettivamente ricoprendo questa posizione.

Inoltre sul tema, vorrei suggerirti questo articolo di

Alberto Danese

, che discute quanto un Data & AI Manager debba mantenere competenze tecniche per svolgere al meglio il suo ruolo. Condivido pienamente il punto di vista di Alberto, con cui ho anche scritto il mio ultimo libro e dove abbiamo anche trattato questa tematica.

La vita per l’Head of Data non era semplice nemmeno prima dell’avvento del nuovo filone di generative AI, ma ora si aggiunge anche questa sfida delicata.L’uso e il setup della generative AI rappresentano una questione estremamente complessa, che va oltre questo specifico ruolo ma che non può essere trascurata dall'Head of Data, specialmente per quanto riguarda la strategia dei dati, un documento e un dominio fondamentali nelle sue attività. Si parla proprio di come integrare la generative AI nella strategia dei dati in questo post del blog Gradient Flow, che parte proprio dalla domanda “Is Your Data Strategy Ready for Generative AI?” e descrive anche “The Post-Modern Data Stack ;-)”.

👀 Data Science. Variabili Confondenti: L’ intruso nascosto nelle tue analisi dati

Quando analizzi dati e cerchi di comprendere le relazioni tra variabili, è cruciale essere consapevole delle "variabili confondenti". Queste sono variabili non considerate inizialmente che possono influenzare sia la variabile indipendente (quella che vogliamo prevedere) sia quella dipendente (quella che misuriamo). Se lavori in azienda, capire e gestire le variabili confondenti è essenziale per prendere decisioni basate sui dati. Ad esempio, nel marketing, potresti pensare che una nuova campagna pubblicitaria abbia incrementato le vendite, ma senza considerare variabili confondenti come la stagionalità o altri eventi economici, rischi di sovrastimare l'efficacia della campagna. Personalmente, mi è capitato più volte, in diversi contesti aziendali, di scoprire variabili confondenti difficili da identificare o trascurate che hanno richiesto rielaborazioni del’analisi. Purtroppo, identificare le variabili confondenti è più arte che scienza, e l’esperienza, insieme alla conoscenza del dominio, gioca un ruolo fondamentale.

Se vuoi una descrizione approfondita delle variabili confondenti, dei loro effetti e, soprattutto, una serie di esempi tratti da vari settori industriali, questo articolo di Jim Frost, uno dei miei divulgatori statistici preferiti, è perfetto per te. Se l'argomento ti appassiona, ti consiglio anche di leggere i commenti della community alla fine dell'articolo: sono talvolta più lunghi dell'articolo stesso, ma incredibilmente interessanti e trattano casi pratici e complessi che potresti incontrare nei tuoi progetti.
Tra gli effetti negativi dei bias generati dalle variabili confondenti c'è quello delle correlazioni spurie. Se non sei familiare con questo concetto, ti suggerisco di visitare uno dei siti più divertenti sui temi statistici, "Spurious Correlation" del mitico Tyler Vigen.

👅Etica & regolamentazione & impatto sulla società. Non leggerlo tutto! Breve guida all'AI Index Report 2024

Forse hai già sentito parlare dell'uscita, a metà aprile, dell'AI Index Report 2024 dello Stanford Institute for Human-Centered Artificial Intelligence. Magari hai anche letto una sintesi dei suoi contenuti, ma, come ogni anno, voglio darti alcune informazioni utili per approfondirlo meglio. Partiamo dal presupposto che ormai è quasi un'enciclopedia: dalle 230 pagine dell'edizione 2022 si è passati alle oltre 500 di questa edizione. Non ti consiglio di leggerlo tutto, ma di concentrarti sui 10 takeaways che trovi qui e usarlo come riferimento per tutto il 2024 se vuoi informazioni supportate dai dati su quasi tutti i temi dell'intelligenza artificiale, non solo quella generativa.

E ora, ecco i punti di attenzione che non devi dimenticare per sfruttarlo al meglio:

1. Quando citi o usi le sue fonti, verifica attentamente chi sono i partner dell’iniziativa (per esempio OpenAI e Google) e quali aziende hanno contribuito al supporto analitico e di ricerca. Trovi tutto a pagina 9. L'Università di Stanford dovrebbe essere una garanzia di indipendenza, ma un lavoro così ampio può, come l’AI stessa, soffrire di bias. 😊

2. Ricorda che è uno snapshot realizzato alla fine del 2023 e, con la dinamicità dello sviluppo attuale dell'AI, quest'immagine può diventare obsoleta rapidamente... Alcune informazioni di benchmark sono più utili per un'analisi dell'evoluzione dell’AI che per comprenderne il presente.

Tra i contenuti che ho trovato più originali e interessanti ti segnalo tre parti che includono anche diversi dati rilevanti e, in generale, positivi, anche per il nostro paese:

1. La sezione sulla robotica alla fine del capitolo 2 (Technical Performance), a partire dalla pagina 135. Questo completa quello di cui parlavo nella sezione investimenti di questa edizione della newsletter.

2. La sezione dedicata alla formazione e all'educazione in generale che trovi nel capitolo 6.

3. Il capitolo 8, interamente dedicato alla diversity.

Infine, non dimenticare che tutti i dati che hanno supportato la realizzazione dello studio sono disponibili in formato aperto qui. Non illuderti troppo, però: si parla di dati con lo stesso livello di aggregazione delle varie sezioni del report, non dei dati delle singole ricerche. Ma è già qualcosa...

Se hai ulteriori suggerimenti e riflessioni sui temi di questo numero o per migliorare questa newsletter scrivimi (st.gatti@gmail.com) o commenta su substack.

Se ti è piaciuta e non sei ancora iscritto lascia la tua mail qui sotto e aiutami a diffonderla!

Alla prossima!