LaCulturaDelDato #099
Dati & algoritmi attraverso i nostri 5 sensi
For my English speaking friends, click here for the translated version
Ciao,
sono Stefano Gatti e questo è il novantanovesimo numero della newsletter LaCulturaDelDato: dati & algoritmi attraverso i nostri 5 sensi. Le regole che ci siamo dati per questo viaggio le puoi trovare qui.
Ecco i cinque spunti del novantanovesimo numero:
👀 Data Science. From Clustering Algorithms to Enlightening the Public: The Journey of Paola Tellaroli in Data & Statistics
Presentati:
Paola Tellaroli. Biostatistica col vizio della scrittura e del viaggio. Il fil rouge tra queste passioni è la curiosità per il mondo, e sono dell'idea che le passioni vadano assecondate. Perciò durante il 1° anno di dottorato in Scienze Statistiche ho pubblicato una guida turistica e non ho più smesso di scrivere. Nell'anno da visiting scholar negli Stati Uniti ho inventato un algoritmo di clustering, tornata in Italia in qualità di assegnista ho insegnato a futuri biologi, psicologi e medici, e lavorato a stretto contatto con questi ultimi nella conduzione di meta-analisi e studi clinici. Dopo un'esperienza in azienda come psicometrista, ho capito che con la biostatistica era amore vero, perciò ho scelto di entrare in una CRO (Clinical Research Organization), un tipo di organizzazione che fornisce servizi di supporto alle industrie farmaceutiche e biotecnologiche. Al momento ricopro il ruolo di Biostatistician II per una CRO: PPD. Sono anche la fondatrice del Gruppo statistici – Italia e autrice del podcast Statfulness.
Il mio ruolo tra 10 anni sarà…
Biostatistics Manager e divulgatrice sui temi di statistica, dove mi pare ci sia ancora molto da lavorare, visto che la maggior parte delle persone sono annoiate se non addirittura spaventate dalla materia. Mi piacerebbe riuscire a far capire all'uomo della strada che la statistica può migliorargli la vita e far appassionare i ragazzi in fase di orientamento universitario a questa affascinante materia, che invece troppo spesso viene scoperta e apprezzata tardi.
Quale è la sfida più importante che il mondo dei dati e algoritmi ha di fronte a sé oggi?
L'analfabetismo statistico mi sembra il problema più urgente. Le persone dovrebbero capire come lavoriamo, cosa facciamo e con quali fini, invece mi sembra ci sia ancora una certa diffidenza verso la nostra disciplina, in parte dovuta a pratiche incoerenti, fonti dubbie e qualità dei dati eterogenea. Questa va sconfitta con un'educazione e una comunicazione di qualità, in quanto credo che conoscere la statistica abbia un impatto sul pensiero critico e sul modo in cui ognuno affronta i problemi quotidiani. Perciò saperla maneggiare adeguatamente è fondamentale per essere cittadini consapevoli e informati di una società democratica.
Segnalaci il progetto o la risorsa nel mondo dei dati di cui non potresti fare a meno.
Sono molto affezionata a FlowingData e trovo sempre molto interessanti sia i lavori che Nathan Yau riesce a scovare, sia i suoi progetti. Tutto quello che propone ha un denominatore comune: una buona visualizzazione grafica per capire i dati. E ci riesce, spesso strappandomi un sorriso!
👂🏾Organizzazione e cultura dei dati e algoritmi nelle organizzazioni. Navigating the Minefield of LLM Evaluation: Insights and Tools
Ho discusso tante volte in questa newsletter, in diverse sezioni, come la generative AI stia cambiando, e cambierà ancora di più in futuro, il modo in cui analizziamo i dati, soprattutto quelli non strutturati, trasformandoli in informazioni importanti per le nostre attività operative e decisionali. Tuttavia, non tutto funziona ancora alla perfezione e, soprattutto, la bontà dei risultati è ancora molto variabile e dipendente dal singolo task. Per questo, misurare la qualità dei modelli generalisti su una serie di attività standard, ma anche su attività specifiche relative al nostro dominio applicativo, è cruciale. Soprattutto perché, all'interno delle nostre organizzazioni, ci interfacciamo con colleghi che non sono tutti esperti di generative AI (o di AI in generale) e dobbiamo essere in grado di spiegare, senza allontanarli da essi, la qualità non ancora ottimale e poco deterministica di questi sistemi. Tutti gli approfondimenti che ti propongo oggi vanno proprio in questa direzione, nel tentativo di fornirti, ove possibile, alcuni strumenti oggettivi e, in altri casi, almeno la consapevolezza delle difficoltà nel misurarne la qualità per poterli migliorare.
Per cominciare con una sana dose di ottimismo 🙂, ti segnalo questa presentazione di due professori della Princeton University dal titolo molto esplicativo: 'La valutazione degli LLMs è un campo minato!'. Per risollevarti un po', ti segnalo, se non la conosci già, questa dashboard ospitata da Hugging Face che valuta, su tre metriche specifiche, i principali modelli LLM, sia open che closed source. Un consiglio operativo: clicca esplicitamente sul tab 'Full Leaderboard' per vedere tutti e tre i benchmark – uno più basato sulle capacità conversazionali e realizzato in crowdsourcing, mentre gli altri due, MT-bench e MMLU, sono basati su domande e risoluzione di task in modalità multimodale. A proposito di MMLU,
🖐️Tecnologia (data engineering). Small But Mighty: The Rising Wave of Small Language Models in 2024
Nelle previsioni per il 2024 nel campo della generative AI, molti hanno evidenziato il trend degli SLM (Small Language Model) come uno dei più rilevanti in arrivo. Questo si giustifica considerando l'importanza crescente di fattori come costo, velocità di training e precisione su task specifici nella valutazione dei modelli. Non posso affermare con certezza se sarà un trend dominante, ma ritengo sia uno scenario possibile e desiderabile. Anche questioni come la sicurezza e la ripetibilità dei risultati potrebbero favorire l'adozione aziendale di modelli più piccoli e gestibili, utilizzabili anche on-premises o sui dispositivi personali. Questo hype sugli SML è stato alimentato a fine 2023 anche dall'uscita di Mixstral, un modello relativamente piccolo, soprattutto rispetto ai recenti modelli di OpenAI, con un'architettura promettente. Come sempre suggerisco, è meglio provare personalmente questi sistemi, e ti invito a farlo con Mixstral qui.
In questa sezione, la più tecnica della newsletter, ti segnalo qualche link per approfondire alcune delle caratteristiche più intriganti degli SLM. Se ti ha interessato la precedente sezione della newsletter su come valutare i modelli linguistici, ti consiglio questo post che spiega come fare il fine-tuning con tecniche avanzate (come LoRA e QLoRA), misurando accuratamente i risultati. Inoltre, è essenziale approfondire l’architettura dei MoEs (Mix of Experts), poiché rappresenta un passo avanti significativo per gli SLM a basso costo. Qui trovi una delle migliori spiegazioni tecniche sull'architettura MoEs mentre qui come è stata implementata in Mistral. Se sei a corto di tempo, una nota importante: al contrario di quanto pensavo anche io inizialmente, gli "esperti" nelle reti neurali non sono specializzati in un dominio specifico (es. sintesi testuale), ma in tipologie di token (es. nomi, punteggiature, ecc.).
Per una panoramica ancora più dettagliata, ti rimando allo speciale di Data Machina sui MoEs. Infine, se ti ho quasi convinto che gli SLM e il fine tuning rappresentino il futuro dei modelli linguistici, leggi il post di Ethan Mollick sul caso di Bloomberg GPT (un LLM allenato su dati finanziari) che, a sorpresa, sembra meno performante di ChatGPT-4 proprio nel suo ambito di specializzazione.
👃Investimenti in ambito dati e algoritmi. Eric Schmidt's Next Big Move: Revolutionizing Science with AI
Eric Schmidt, noto per essere stato il CEO di Google, resta una delle figure più influenti nel panorama tecnologico mondiale, ruolo che mantiene da oltre 35 anni. Con un background tecnico, iniziato con studi in questo campo e un primo impiego come software engineer, Schmidt ha ricoperto dalla metà degli anni '90 ruoli di vertice in aziende tecnologiche americane, fino alla sua nomina nel 2001 come CEO di Google da parte dei fondatori Page & Brin. Le sue opinioni, sempre autorevoli e ben ponderate, hanno caratterizzato ogni ruolo da lui ricoperto. Anche dopo aver lasciato tutte le sue cariche in Google all'inizio del 2020, Schmidt ha proseguito il suo lavoro nel settore tecnologico, investendo tempo e denaro (che non gli manca 🙂) in iniziative spesso legate all'AI. Parlavamo, nel numero scorso di geopolitica e AI, e una lettrice mi ha ricordato come “The Age of AI”, scritto nel 2021 da Schmidt, Kissinger e Huttenlocher, prima dell’uscita di Chat-GPT 3.5, “allaccia molti fili tra tecnologie dirompenti e impatti geopolitici lungo 100 anni di storia contemporanea”. Il libro, che ho letto, è una lettura che raccomando per la vastità di temi trattati e l'equilibrio degli scenari presentati. Oggi, tuttavia, voglio concentrarmi su un'altra iniziativa legata a Schmidt: il finanziamento di Future House. Secondo quanto riportato dall'Ansa, Future House è una organizzazione no-profit che intende costruire un sistema di intelligenza artificiale capace di analizzare documenti di ricerca e rispondere a domande scientifiche. Questo "scienziato dell'intelligenza artificiale", come lo definisce la startup, potrà esaminare migliaia di articoli scientifici e formulare ipotesi in modo indipendente, con una velocità e su una scala maggiori rispetto agli umani. Lo ha affermato a Bloomberg l'amministratore delegato di Future House, Sam Rodriques. Schmidt supporterà l'iniziativa per i primi cinque anni. “La nostra missione decennale”, spiega Rodriques, “è quella di costruire intelligenze artificiali semi-autonome per la ricerca scientifica, per accelerare il ritmo delle scoperte e fornire accesso a livello mondiale a competenze scientifiche, mediche e ingegneristiche all'avanguardia. Abbiamo scelto di concentrarci sulla biologia, credendo che sia la scienza con il maggior potenziale di avanzamento umano, attraverso il suo impatto sulla medicina, la sicurezza alimentare e il clima”. Penso che Future House sia un'iniziativa da tenere d'occhio. La creatività combinatoria, di cui ha recentemente scritto molto bene
👅Etica & regolamentazione & impatto sulla società. The Data Story of Loneliness: Alvin Chang's Analysis at The Pudding
Una delle epidemie silenziose che si sta diffondendo in quasi tutte le nazioni della parte occidentale del mondo è quella della solitudine. Un fenomeno complesso da studiare e comprendere, poiché non ha una causa unica, ma è sicuramente influenzato da almeno tre fattori : l'aumento della longevità, la diminuzione del numero e della composizione del nucleo familiare, e l'incremento delle interazioni digitali o asincrone. In quest'ultima categoria, includo sia le interazioni da remoto che quelle via social, che dagli anni 2000 sono diventate molto significative. Oggi ti propongo un approfondimento guidato dai dati e da un'eccellente visualizzazione che illustra molto bene questa tematica. Puoi trovare questa storia su The Pudding, una splendida rivista digitale che racconta storie interessanti tramite l'uso dei dati. L'autore è Alvin Chang, un data journalist molto competente, che vale la pena seguire, anche professore alla “The New School”, un'università di New York, . I dati e i riferimenti sono presi da un'importante indagine periodica dell'Ufficio di Statistica Americano su come gli americani impiegano il loro tempo.
Ti suggerisco di dedicarti 10 minuti in rigorosa solitudine 🙂 e di goderti, disattivando le notifiche social, questa affascinante storia. Troverai anche molti spunti su come ci siamo evoluti socialmente, numero di Dunbar incluso.
Ovviamente, anche le interazioni digitali sono importanti e probabilmente, come specie, dobbiamo trovare il modo migliore per sfruttarle al meglio, sia dal punto di vista qualitativo che quantitativo. E queste interazioni sono veramente sempre più numerose...
Se poi sei interessato a riflessioni guidate dai dati di una persona che “medita” molto sulla solitudine, ti consiglio 'AiLone' del Prof. Gallway."
Se hai ulteriori suggerimenti e riflessioni sui temi di questo numero o per migliorare questa newsletter scrivimi (st.gatti@gmail.com) o commenta su substack.
Se ti è piaciuta e non sei ancora iscritto lascia la tua mail qui sotto e aiutami a diffonderla!
Alla prossima!