LaCulturaDelDato #113
Dati & algoritmi attraverso i nostri 5 sensi
For my English speaking friends, click here for the translated version
Ciao,
sono Stefano Gatti e questo è il centotredicesimo numero della newsletter LaCulturaDelDato: dati & algoritmi attraverso i nostri 5 sensi. Le regole che ci siamo dati per questo viaggio le puoi trovare qui.
Ecco i cinque spunti del centotredicesimo numero:
👂🏾Organizzazione e cultura dei dati e algoritmi nelle organizzazioni. Non solo numeri: un modo diverso di guardare ai dati con Giorgia Lupi
"In questa intervista, Giorgia Lupi spiega che la visualizzazione dei dati non è volta a semplificare la realtà, ma a rendere le informazioni complesse più accessibili. Parla del perché le analisi dei dati siano più potenti quando includono non solo ciò che conosciamo, ma anche ciò che non conosciamo. E sottolinea l'importanza di progettare sia per i Bart Simpson che per le Lisa Simpson del mondo.”
Anche all'interno delle nostre nostre organizzazioni avremmo bisogno di visualizzare, attraverso i dati soprattutto quello che non conosciamo e non solo, in maniera troppo autoreferenziale, le cose che già almeno in parte conosciamo …Giorgia Lupi, insieme a Paolo Ciuccarelli, Alberto Cairo (che, nonostante il nome, non è italiano) e Cole Nussbaumer Knaflic, è sicuramente tra le figure che preferisco nel mondo della data visualization e dell’information design. Te ne avevo già parlato per i meravigliosi Data Memos scritti con
1. Il manifesto sul concetto di Data Humanism.
2. Il mio libro preferito, 'Dear Data'. Una raccolta lunga un anno, in cui Giorgia Lupi e Stefanie Posavec, un'amica americana che vive a Londra, hanno mappato i dettagli delle loro vite quotidiane attraverso una serie di cartoline disegnate a mano che si scambiavano settimanalmente via posta: momenti ricchi di emozioni e dati.
3. La descrizione lucida, tragica ed emozionante dei suoi, finora, 1374 giorni di Long Covid.
Ti evito ulteriori dettagli per permetterti di dedicare più tempo possibile a esplorare il sito personale dell’artista, ricco di gemme imperdibili e sorprendenti come questa.
👃Investimenti in ambito dati e algoritmi. Innovazione e trend: cosa ci insegna il nuovo batch di Y-Combinator
Ci sono eventi che sono un buon campionamento dell’innovazione e dei trend tecnologici attuali. Uno di questi eventi è il batch semestrale di Y-Combinator, fondamentale per chi si interessa agli investimenti e all'impiego delle tecnologie più avanzate per risolvere problemi nella società e, soprattutto, nelle aziende. Ne ho parlato nel numero 93, discutendo l'importanza di dedicare qualche ora a seguirlo e di come funziona tutto il processo.
Il primo batch semestrale del 2024 non ha deluso le aspettative. Prima di condividere alcune opinioni personali, ecco alcune fonti/modalità per dedicare efficacemente il tempo a questa attività, a seconda del tuo livello di interesse:
1. Un modo molto veloce ma efficace per ottenere una sintesi ottimale è leggere o ascoltare questo post della newsletter
, prodotta dal team di Lombard Street Ventures, un venture capital dal cuore italiano a Menlo Park. La newsletter è anche un eccellente strumento per comprendere la Silicon Valley, i suoi investimenti, la cultura e i suoi fondatori, anche per chi non vive quotidianamente la Costa Ovest degli Stati Uniti.2. Un altro approccio è "navigare" il database del batch di Y combinator, disponibile online. È ben strutturato e ricco di informazioni che ti permettono di analizzare le singole start-up o analizzare gruppi di queste attraverso i diversi attributi che le caratterizzano (industria, tecnologia, geografia, ecc.).
Utilizzando la seconda modalità, puoi ottenere una panoramica completa dei trend e, con un pizzico di fortuna, scoprire qualche gemma nascosta 🙂.
Ho alcune considerazioni da condividere dopo aver dedicato qualche momento ad analizzare parte delle 248 start-up di questo batch:
1. L'intelligenza artificiale è diventata uno strumento quasi indispensabile per costruire un prodotto o servizio. Due start-up su tre, per il secondo batch consecutivo, dichiarano di utilizzarla significativamente.
2. Il supporto alla produttività dello sviluppo software continua a essere un tema di grande impatto, presente dal 2018, ma con numeri in calo: 1 start-up su 6, contro 1 su 3 nei due batch precedenti. Un segno di maturità e consolidamento di un trend già avviato in precedenza.
3. Gli AI Assistant o Copilot stanno diventando sempre più popolari, raddoppiando la loro presenza rispetto al batch precedente. Ad esempio, una start-up, rimando nel nostro ambito, ha sviluppato "The first autonomous AI data analyst agent" e fa parte di questa categoria, anche se, per esempio non è neppure” etichettata come "ai assistant" nel database.
Per concludere, se sei appassionato come me di tassonomie all’intersezione tra investimenti e intelligenza artificiale, ti segnalo questo interessante e tecnico metodo di categorizzazione sviluppato da Glasswind Ventures, un venture capital specializzato in investimenti nell’ambito dell’intelligenza artificiale. Puoi usarlo anche come test per vedere se sei già diventato presbite come me 🙂
🖐️Tecnologia (data engineering). Alan Thompson e il mondo di LifeArchitect.ai: un tesoro di conoscenza sulle intelligenze.
“LifeArchitect.ai è considerato il "gold standard" per la comprensione dell'IA post-2020. Con oltre 100 articoli e documenti, 275 video ed edizioni regolari di The Memo, LifeArchitect.ai fornisce approfondimenti a tutti i principali laboratori di IA, enti governativi e intergovernativi, istituti di ricerca e a tutti coloro che sono interessati alla rivoluzione dell'IA”. Alan D. Thompson, il creatore di “Life Architect”, non pecca di modestia, ma il suo progetto di divulgazione della conoscenza, soprattutto dal punto di vista tecnologico, merita veramente la tua attenzione. Alan è una persona eclettica: non si limita all'Intelligenza Artificiale, ma sa occuparsi di divulgazione in maniera molto ampia, con interventi semplici ma anche capaci di fornire dettagli e informazioni molto tecniche.
Ti suggerisco di dare un’occhiata e di aggiungere ai tuoi preferiti soprattutto questo Google sheet che lui condivide e aggiorna costantemente. Troverai, nei suoi 27 fogli distinti, una quantità impressionante di informazioni tecniche, benchmark e link per approfondimenti relativi a tutto il mondo della generative AI. È sicuramente il contenuto più denso di informazioni aggiornate su questo contesto che io abbia mai trovato.
Inoltre, essendo un membro del Mensa e molto appassionato al tema della misurazione dell'intelligenza umana e artificiale, ha dedicato, all'interno del progetto LifeArchitect.ai, una sezione al tema della misurazione delle intelligenze (sezione IQ nel menù orizzontale del suo sito).
Francamente, è difficile immaginare come un uomo solo possa aggiornare e generare così tanti contenuti come fa Alan Thompson, anche se molto intelligente e rapido come si dice 🙂. Resta una fonte di informazioni, anteprime e ipotesi di scenari su tutto il mondo dell'intelligenza artificiale che non puoi ignorare!
👀 Data Science. Tra ranking e crowdsourcing: l’arte di scegliere il miglior LLM
Misurare la performance degli LLM è e diventerà ancora di più in futuro un aspetto importante sia per il numero sempre maggiore di modelli presenti nel mondo open e in quello proprietario, sia per la loro specializzazione in ambiti specifici.
Misurare e monitorare le performance di questi modelli sarà sempre più cruciale per i data scientist in ogni tipo di organizzazione. Questa attività rientra nell’ambito di quel probabile e graduale shift di ruolo, influenzato anche dall’intelligenza artificiale generativa stessa, che vedrà queste figure, soprattutto quelle meno coinvolte nello sviluppo dei modelli stessi, avvicinarsi di più al business, alla definizione dei prodotti e, soprattutto, alla scelta e integrazione degli LLM più adatti al contesto specifico di sviluppo.
Non è un caso che ci sia tanto fermento intorno alla misurazione delle performance dei modelli, con sistemi di benchmark come MMLU e classifiche di tutti i tipi: da quelle più generiche a quelle sempre più specifiche per tipologia di attività o settore industriale.
“Le classifiche di questo tipo sono un enorme servizio per la comunità dell'intelligenza artificiale, classificando oggettivamente i migliori modelli, mostrando i risultati comparativi a colpo d'occhio ... Sono un ottimo aiuto per la trasparenza e un antidoto ai benchmark selezionati ad arte, e forniscono obiettivi chiari per gli sviluppatori che mirano a costruire modelli migliori.” Questo è il giudizio di Andrew Ng che, come (quasi) sempre, offre una visione lucida e pragmatica su tutti gli aspetti che ruotano attorno al mondo dei dati e dell’intelligenza artificiale. L’articolo da cui ho tratto il giudizio di Andrew Ng su questo tema è un ottimo punto di partenza per approfondire l’argomento.
Personalmente, come benchmark generale e generalista, utilizzo e ti consiglio la “LMSYS Chatbot Arena Leaderboard”, un progetto open source della Large Model Systems Organization (LMSYS.Org), fondata da studenti e docenti della UC Berkeley, in collaborazione con UCSD (University of California, San Diego) e CMU (Carnegie Mellon University). Il progetto è davvero interessante perché si basa sul crowdsourcing per fornire valutazioni. Puoi partecipare anche tu (clicca sul tab Arena (Side by Side), come faccio spesso io, scrivendo prompt a cui rispondono due modelli diversi. Senza sapere a priori quali siano, devi votare il migliore. Dopo il voto, ti vengono rivelati i modelli che hanno risposto, permettendoti di acquisire conoscenza pratica dei modelli stessi e delle loro differenze.
Stanno anche emergendo molte altre metodologie di valutazione sempre più specifiche, come quella presentata su HuggingFace dalla start-up PatronusAi, che si concentra su attività svolte all’interno delle aziende, o quelle specifiche per Coding o TextSQL, descritti qui da Openlm.ai.
👅Etica & regolamentazione & impatto sulla società. Open Source e AI: un matrimonio complicato?
Credo francamente che adattare la definizione di “open source” ai Large Language Models sia francamente sbagliato, o meglio, significa tentare di adattare una definizione molto precisa, tipica del mondo del software, a qualcosa, gli LLM, che trascende il semplice software. Anche se i pesi delle reti neurali vengono pubblicati in maniera aperta, non saremo mai certi dei dati con cui queste reti sono state allenate, a meno di “registrare” tutti i processi di training e non limitarci a dichiarare e rendere disponibili i dati usati.
Sull’argomento, peraltro, esiste un dibattito in corso e il gruppo OSI (Open Source Initiative) sta cercando di definire i requisiti minimi per poter arrivare a una definizione, che probabilmente non sarà assoluta come piacerebbe a me 🙂, ma comunque valida. Come puoi leggere in queste dichiarazioni di Stefano Maffulli, il direttore esecutivo di OSI, il tema è caldo e importante.
Ti segnalo sull’argomento due letture interessanti che riflettono proprio su questi temi dell’apertura e trasparenza dei modelli di generative AI. Sono due letture molto diverse per lunghezza ma egualmente significative se vuoi approfondire.
Il primo è un breve articolo di
Il secondo approfondimento che ti consiglio è una monografia uscita a Novembre 2023, ma ancora attualissima, sull’intelligenza artificiale realizzata da Guerre di Rete e curata da , che è stata ospite della newsletter, insieme a Sonia Montegiove e Federico Nejrotti. La monografia esplora molti argomenti interessanti e non scontati e offre numerosi link per approfondimenti. Le mie due sezioni preferite della monografia sono:
- "C’era una volta un chatbot": partendo dalla storia di Joseph Weizenbaum e il suo chatbot ELIZA, ci fa scoprire gli usi (in parte inaspettati) psicoterapeutici di questi chatbot, da quelli primordiali a ChatGPT.
- "Non c’è AI senza Big Tech": si concentra sul tema dell’importanza della trasparenza e dell’apertura di questi modelli per un futuro non distopico.
Se hai ulteriori suggerimenti e riflessioni sui temi di questo numero o per migliorare questa newsletter scrivimi (st.gatti@gmail.com) o commenta su substack.
Se ti è piaciuta e non sei ancora iscritto lascia la tua mail qui sotto e aiutami a diffonderla!
Alla prossima!