For my English speaking friends, click here for the translated version
Ciao,
sono Stefano Gatti e questo è l'ottantaquatresimo numero della newsletter LaCulturaDelDato: dati & algoritmi attraverso i nostri 5 sensi. Le regole che ci siamo dati per questo viaggio le puoi trovare qui.
Ecco i cinque spunti dell’ottantaquatresimo numero:
👃Investimenti in ambito dati e algoritmi. Kelvin Mu's Insight and The Rising Stars: Navigating the Generative AI Investment Landscape
A quasi un anno dal lancio di ChatGPT al grande pubblico, possiamo affermare che la novità più rilevante del 2023 in ambito di investimenti globali riguarda i cospicui flussi di capitali nel segmento della Generative AI. Questo si verifica sia a livello di Foundational Models, ossia le aziende che sviluppano gli LLMs, sia a livello di start-up che, utilizzando gli LLMs, mirano a portare innovazione e miglioramenti di produttività in tutti i settori industriali. Come tutti i trend, anche questo porta con sé una buona dose di sopravvalutazione, ma credo che ci sia sostanza e che sarà un trend attivo per diversi anni. Per approfondire questa tematica, oggi ti consiglio questa eccellente immagine tratta da una ricerca dell’investitore Kelvin Mu e tre post della splendida newsletter AI Supremacy.
Ma andiamo con ordine: in questa immagine puoi trovare un’altissima densità di informazioni relative agli Unicorni della Generativa AI con importanti attributi dimensionali in tema di dipendenti e di valutazioni (assoluti e di crescita). È interessante notare come su (quasi) tutti gli unicorni più importanti in termini di valutazioni ci siano importanti investimenti delle big-tech, con una polarizzazione di Microsoft su OpenAI, di Amazon recentemente su Antropic e con Google più isolata ma presente con ruolo non da lead-investor in alcune start-up presenti nel grafico. Se desideri scendere in dettaglio attraverso informazioni specifiche su alcune delle più importanti aziende della Generative AI, ti consiglio questo trittico di post di AI Supremacy, ed in particolare:
- Le sei più importanti rivali di OpenAI. Articolo di Aprile 2023, ma ancora molto attuale.
- Le (altre) sei più promettenti start-up che inseguono il gruppo di testa e che stanno realizzando specializzazioni dei modelli linguistici general purpose.. Articolo di fine Giugno 2023, molto interessante anche per capire come cospicui investimenti stiano andando su LLMs molto specializzati come, per esempio, Inflection AI per gli assistenti personali e Adept AI su task di produttività personale complessi.
- Altre 6 start-up, sempre in ambito Generative AI, che stanno portando avanti progetti molto innovativi che potrebbero creare grossi miglioramenti nel modo in cui ci curiamo, nel modo in cui comunichiamo e interagiamo con agenti sempre più creativi.
Prova a dedicare un po’ di tempo nell’approfondire e, in alcuni casi, nel provare i prodotti di queste 18 aziende che stanno forgiando il settore della Generative AI. Credo che sia per te un buon investimento per il futuro, sia come lavoratore che come investitore di tempo e di risorse economiche 🙂.
👂🏾Organizzazione e cultura dei dati e algoritmi nelle organizzazioni. Future-Proof Strategies: Unpacking Jason Cohen's Lessons on Tackling the Unknown
Sei un imprenditore, aspirante tale, o un addetto alle strategie in grandi organizzazioni? Sei in posizione di prendere decisioni strategiche? Allora devi assolutamente leggere questo articolo, intitolato eloquentemente "Navigating the unpredictability of everything" di Jason Cohen, un imprenditore seriale con alle spalle due unicorni e due significative exit. Essendo l'articolo già una sintesi di molteplici riflessioni e metodi per gestire l'incapacità di prevedere accuratamente il futuro, trovo difficile condensare ulteriormente i concetti chiave. Tuttavia, ritengo che l'analisi dettagliata su come Slack e WhatsApp abbiano raggiunto il successo, delineata con meticolosa attenzione da Jason, sia esemplare. I casi di successo hanno spesso due elementi in comune: una strategia (gestita con opzionalità) e la capacità di seguire il cliente, comprendendo anche gli utilizzi imprevisti, o meglio, serendipici, del prodotto stesso. Ho scoperto vari consigli nell'articolo che mi sarebbero stati utili ad evitare errori che ho commesso in passato e che ho visto commettere anche da molti esperti di dati. Un punto saliente è che "prendere una decisione e proseguire è spesso più efficace di una lunga riflessione sulla decisione", una nozione che può sfuggire alle menti più analitiche che gestiscono dati e informazioni con maestria, ma che è diventata sempre più cruciale nell'attuale complessità e velocità dei mercati, anche di nicchia. In questi contesti, un altro spunto che emerge è l'importanza di costruire scenari o, meglio, coni di futuro. "Prevedere esattamente cosa accadrà è una follia, ma mappare i possibili futuri può essere illuminante", afferma Cohen, portandoci alla sintesi finale con le lezioni suggerite, che ti invito caldamente a esplorare, in quanto sono estremamente pertinenti e ricche di ulteriori spunti per affrontare il futuro con maggiore consapevolezza.
Inoltre, parlando di futuro e dell'impatto dell'intelligenza artificiale, ti consiglio vivamente di dedicare 30 minuti all'ascolto di Andrew Ng, una delle voci più ponderate e una mente brillante, che in questa presentazione a Stanford, pur senza fornire previsioni specifiche, disegna scenari molto concreti su cui riflettere!
🖐️Tecnologia (data engineering). Parsel's Path: Breaching Hierarchical Reasoning Barriers with LLMs
"Nonostante i recenti successi nel ragionamento con modelli linguistici di grandi dimensioni (LLM), gli LLM faticano ad affrontare compiti di ragionamento gerarchico in più fasi, come la generazione di programmi complessi. Per questi compiti, gli esseri umani spesso iniziano con un progetto algoritmico di alto livello e implementano ogni parte gradualmente. Abbiamo creato Parsel, un framework che consente l'implementazione e la validazione automatica di algoritmi complessi con LLM di codice, prendendo in input descrizioni di funzioni gerarchiche in linguaggio naturale. Abbiamo dimostrato che Parsel può essere utilizzato in tutti i domini che richiedono un ragionamento gerarchico, tra cui la sintesi di programmi, la pianificazione robotica e la dimostrazione di teoremi. Dimostriamo che gli LLM che usano Parsel risolvono un maggior numero di problemi a livello di competizione nel dataset APPS, ottenendo tassi di superamento superiori di oltre il 75% rispetto ai precedenti risultati ottenuti campionando direttamente AlphaCode e Codex, pur utilizzando spesso un budget di campionamento inferiore." Questo è l’inizio dell’abstract del progetto che ti presento oggi ed è una buona sintesi del suo obiettivo, cioè ottenere risultati migliori con gli LLM su compiti che prevedono ragionamenti complessi utilizzando meno risorse. Parsel, realizzato da ricercatori dell’Università di Stanford, è uno dei tanti sforzi che si stanno facendo in giro per il mondo per esplorare le capacità di ragionamento complesso degli attuali sistemi di AI generativa.
Se sei curioso di approfondire come funziona, oltre a questo schema di funzionamento che riporto sopra, tratto dal paper, nel paper stesso troverai esempi concreti di pipeline di funzionamento, in primis tratti da APPS (Automated Programming Progress Standard), un dataset che comprende problemi di programmazione raccolti da vari siti di coding open-access con le relative soluzioni, e che costituisce di fatto un benchmark importante sulle risoluzioni di problemi complessi relativi al mondo della programmazione. Questo approccio, del resto, è in linea con l’esperienza che ciascuno di noi può fare lavorando in maniera collaborativa con ChatGPT nella scrittura di codice. Ogni volta che lo uso, del resto, ho la dimostrazione concreta che la sua efficacia è funzione di quanto riesco a spezzare l’attività in parti (pezzi di codice) semplici e verificabili. Questa è, peraltro, l'esperienza che descrive Martin Fowler per l’utilizzo degli LLM nella progettazione di architetture di sistemi informatici complessi. Te l’avevo condivisa nel numero 60 della newsletter e, se non lo hai fatto, ti consiglio di leggerlo perché si sta rivelando sul campo un approccio molto efficace.
👀 Data Science. Visual Alchemy: Unpacking Complex Concepts with Yi Zhe Ang
"Sento e dimentico. Vedo e ricordo. Faccio e capisco." Questa frase è comunemente attribuita a Confucio, ma molto probabilmente questa attribuzione è falsa. Trovo invece molto vero il senso che vi è in essa. Per questo, ho sempre trovato di grande valore la visualizzazione il più possibile interattiva di concetti e teorie, soprattutto quando sono complesse e non facilmente applicabili in maniera pratica. Ho sempre avuto grande ammirazione per chi riesce a realizzare questi strumenti dal forte contenuto didattico. Yi Zhe Ang, a cui piace (e gli riesce molto bene) creare storie visive, interattive ed esplorabili, è uno di questi che senza dubbio definirei artisti. Le matrici sono qualcosa di importante, i cui concetti basilari avrai studiato in qualche corso scolastico, ma sono tutto sommato uno strumento noioso, soprattutto se studiato solo con un approccio meccanico. Sono terribilmente importanti e se sei un data-expert saprai che il calcolo matriciale è fondamentale per il calcolo di ciascun “strato” delle reti neurali. Per questo, l’efficienza di questa operazione è fondamentale per lo sviluppo di tutta la generative AI e non solo. Se vuoi fare un ripasso di questi concetti fondamentali e cosa significa in concreto una trasformazione matriciale, ti consiglio vivamente “The Matrix Arcade”, percorso visuale creato da Yi Zhe Ang per affrontare un argomento forse non entusiasmante in maniera veramente efficace e interattiva. Sempre di Yi Zhe Ang, ti consiglio anche la sua spiegazione interattiva dell’algoritmo K-means, di cui afferrerai i concetti base anche se non lo conosci. In generale, ti consiglio tutto il portfolio di progetti di questo artista di Singapore. La magia si rivela quando l'arte e la scienza si fondono in modi che amplificano la nostra comprensione e stimolano la curiosità nell’apprendimento
👅Etica & regolamentazione & impatto sulla società. Exploring AI's Frontier: Pei Wang's Page, Sam Altman's Take, and Subbarao Kambhampati's Caution
"Questa pagina offre un panorama aggiornato nel campo dell'Intelligenza Generale Artificiale (AGI), raccolto ed organizzato secondo il mio criterio, pur tentando di evitare pregiudizi personali." Così si presenta, in modo decisamente modesto, quella che è in realtà una pagina ricchissima di informazioni e collegamenti che abbracciano l'intera storia dell'Intelligenza Artificiale, dalle sue origini e prime definizioni negli anni '50, fino ai progetti più avanzati e pionieristici relativi alla creazione e allo studio dell'AGI. Questa pagina è stata ideata e mantenuta da una delle menti più luminose in questo ambito, il professor Pei Wang dell’Università di Temple, che, tra l'altro, terrà un corso specifico su di essa nel 2024. Puoi partire dalla storia, alquanto intricata e affascinante, di chi ha coniato il termine AGI per passare a scoprire come si sia evoluta la discussione e la tecnologia correlata negli ultimi 20 anni. Se prima di immergerti nell'approfondimento che ti ho suggerito oggi desideri una definizione più semplice, la voce di Wikipedia è un buon punto di partenza, così come questo video di 30'' in cui Sam Altman, CEO di OpenAI, fornisce una definizione di AGI molto pragmatica, forse troppo semplicistica.
Se, invece, desideri esplorare l’opinione di qualcuno meno ottimista di Pei Wang, e che ritiene che anche ChatGPT-4 sia ancora ben lontano dalla capacità di ragionamento umano, ti consiglio quest'ottimo articolo di un altro docente universitario: Subbarao Kambhampati dell’Università dell’Arizona. Le sue conclusioni sono piuttosto categoriche, a mio parere eccessive, ma meritano comunque una lettura: "In sintesi, nulla di ciò che ho letto, verificato o fatto mi fornisce una ragione convincente per credere che gli LLM (Large Language Models) svolgano funzioni di ragionamento/pianificazione come comunemente intese. Quello che fanno, grazie alla loro formazione sull’ampia scala del web, è una forma di recupero approssimativo universale di informazioni che può essere talvolta scambiata per capacità di ragionamento. Gli LLM eccellono nella generazione di idee per qualsiasi compito, compresi quelli che implicano il ragionamento, e come ho evidenziato, ciò può essere efficacemente sfruttato per supportare il ragionamento e la pianificazione. In altre parole, gli LLM possiedono già un numero sufficiente di sorprendenti capacità di recupero di informazioni approssimative, che possiamo utilizzare proficuamente, e non abbiamo bisogno di attribuire loro false capacità di ragionamento/pianificazione." Direi che a volte si tratta anche di questioni legate alla semantica delle parole … 🙂
Se hai ulteriori suggerimenti e riflessioni sui temi di questo numero o per migliorare questa newsletter scrivimi (st.gatti@gmail.com) o commenta su substack.
Se ti è piaciuta e non sei ancora iscritto lascia la tua mail qui sotto e aiutami a diffonderla!
Alla prossima!