LaCulturaDelDato #134
Dati & algoritmi attraverso i nostri 5 sensi
For my English speaking friends, click here for the translated version
Ciao,
sono Stefano Gatti e questo è il centotrenquatresimo numero della newsletter LaCulturaDelDato: dati & algoritmi attraverso i nostri 5 sensi. Le regole che ci siamo dati per questo viaggio le puoi trovare qui.
Questa settimana
ha sperimentato NotebookLM di Google caricando la versione inglese del nostro libro Data Culture. Ne sono usciti 17 minuti circa di podcast di buona qualità. Se vuoi sentirlo qui trovi il link. Se dopo averlo sentito vuoi comprare anche il libro intero puoi farlo qui.
Ecco i cinque spunti del centotrentaquatresimo numero:
👂🏾Organizzazione e cultura dei dati e algoritmi nelle organizzazioni. Giuseppe Mayer: La trasformazione digitale tra dati, AI e nuove opportunità
Presentati
Giuseppe Mayer. Un due volte papà, felicemente sposato, appassionato di innovazione e futuro. Negli ultimi tre anni sono stato partner di Be Consulting, guidando l’area digitale del gruppo Engineering, e dal 2020 mi occupo di marketing e comunicazione per il dipartimento per la trasformazione digitale. Con oltre 25 anni di esperienza, ho lavorato per multinazionali come Armando Testa, Grey e Saatchi & Saatchi, collaborando con brand globali come Coca-Cola e Pirelli.
Ho co-fondato Ambito5 e successivamente Antifragile, una società focalizzata sulla transizione digitale. Ora sono Ceo di Talent Garden Italia. Sono anche docente di "AI and Corporate Communication" all’Università IULM e autore del libro "Inspired by Data". Il mio interesse per l’AI, in particolare per l’AI generativa, nasce dalla convinzione che possa avere un impatto straordinario su una società che invecchia, migliorando qualità della vita e creando nuove opportunità.
l mio ruolo tra 10 anni sarà ... (continua la frase come fossi GPT-10)
Tra 10 anni, il mio ruolo sarà quello di un mentore e studente allo stesso tempo. La velocità del cambiamento tecnologico e sociale mi spingerà a continuare ad imparare ogni giorno, esplorando nuove frontiere come l'AI generativa e le sue applicazioni. Mi vedo come una guida che ispira e supporta il mio team, aiutandolo a navigare le complessità del futuro e a raggiungere risultati sempre più ambiziosi. Essere al servizio delle persone e dell'innovazione sarà la mia missione, mantenendo viva la curiosità e il desiderio di crescere, insieme ai miei collaboratori.
Quale è la sfida più importante che il mondo dei dati e algoritmi ha di fronte a sé oggi?
La sfida più importante che il mondo dei dati e degli algoritmi affronta oggi riguarda tre aspetti cruciali: la qualità del dato, la trasparenza e la proprietà intellettuale. Prima di tutto, la qualità dei dati è fondamentale: senza dati affidabili, gli algoritmi rischiano di produrre risultati inaccurati o fuorvianti. Poi c’è la necessità di trasparenza nell'uso dei dati: le persone devono sapere come i loro dati vengono raccolti e utilizzati. Infine, la proprietà intellettuale è una questione complessa, soprattutto in un contesto in cui l'AI può generare contenuti nuovi e originali: chi ne possiede i diritti?
Segnalaci il progetto o la risorsa nel mondo dei dati di cui non potresti fare a meno …
Il progetto di cui non potrei fare a meno è Clay.earth. Questo strumento va oltre il classico CRM, permettendomi di gestire e organizzare automaticamente tutte le mie relazioni personali e professionali. Grazie a un sistema intelligente di ricerca e sincronizzazione della rete, risparmio tempo prezioso e non rischio mai di perdere aggiornamenti importanti. Clay mi ricorda momenti significativi e mi fornisce suggerimenti su quando riprendere i contatti, mantenendo le relazioni sempre vive, senza il rumore tipico dei social media. È fondamentale per coltivare connessioni autentiche e strategiche nel lungo termine.
👀 Data Science. L'arte di conoscere il contesto: perché la data science senza visione d'insieme non funziona
Era stato di gran lunga il link più cliccato nel tredicesimo numero della newsletter, quando i lettori erano meno di un sesto rispetto agli attuali 4000 🙏. Credo che, oggi, l’articolo che avevo scritto per spiegare perché la data science si può sempre più definire come “l’arte di conoscere il contesto” dell’azienda e del settore in cui la si esercita, sia ancora più rilevante. Ti ripropongo le poche righe con cui lo avevo presentato allora:
“In molte esperienze, di cui sono stato testimone, questo problema (non conoscere il contesto, n.d.r.) è stato la causa di grossi insuccessi. Conoscere il contesto è una questione di tempo e di organizzazione: fidati, è molto importante! Nella parte finale del post ho inserito anche una check-list in cinque punti come guida per un data scientist moderno, pragmatico e consapevole.”
La cultura dell’organizzazione è una parte del contesto, ma non è tutto.
Se trovi il tempo di leggere l’articolo e mi mandi un feedback via mail o nei commenti, te ne sarei grato, perché sto riflettendo ancora tanto su questa tematica e considero il feedback dei lettori di questa newsletter molto prezioso. Grazie 🙏.
👃Investimenti in ambito dati e algoritmi. Start-up del mese Agosto 2024: Groq
Come ogni mese, grazie alla mia attività di monitoraggio dell'innovazione e degli investimenti a livello mondiale, ho l'occasione di presentarti una startup che ha catturato particolarmente la mia attenzione, distinguendosi per aver ottenuto finanziamenti significativi ad agosto 2024. Questa startup opera nell'ambito dei dati e degli algoritmi, integrando queste tecnologie in modo sostanziale nei suoi prodotti destinati al mercato.
Iniziamo, come sempre, con qualche dato su agosto 2024 a livello globale: il numero e i valori degli investimenti mi risultano in linea con quelli di luglio 2024, leggermente inferiori alla media dell'anno. Ho inserito nel mio database 463 investimenti a livello globale, di cui circa 89 associabili al settore Data & AI, che registra una crescita in termini di numero, ma non di volume rispetto al mese scorso. Questo mese ti segnalo una leggera discrepanza rispetto al consueto consuntivo mensile di Crunchbase, che identifica agosto 2024 come il peggior mese dell'anno per valore di funding. Tuttavia, sia dal mio database sia dall'articolo di Crunchbase arrivano segnali concordanti sulla forza relativa nei settori AI, healthcare e biotech, che insieme rappresentano quasi il 50% del volume totale degli investimenti.
La startup che ti segnalo questo mese è Groq. Groq è una startup americana fondata da ex-ingegneri di Google specializzati nell'hardware per l'intelligenza artificiale (AI). Si distingue per la sua architettura hardware innovativa, progettata per accelerare i carichi di lavoro di AI e machine learning. Il cuore della tecnologia di Groq è il suo Tensor Streaming Processor (TSP), un chip costruito per massimizzare l'efficienza nei calcoli complessi richiesti dagli algoritmi di AI. A differenza dei classici processori (come le GPU di NVIDIA o le TPU di Google), il TSP di Groq consente di eseguire un calcolo in un solo ciclo di clock, migliorando significativamente la velocità e la latenza con cui si processano grandi quantità di dati.
Una componente fondamentale della tecnologia TSP è la LPU( Linear Processing Unit), una delle unità operative all'interno del TSP. Si tratta di un'unità di calcolo dedicata all'esecuzione delle operazioni lineari, centrali per molti algoritmi AI, come le moltiplicazioni di matrici e le operazioni su tensori. Queste operazioni rappresentano gran parte dei calcoli richiesti nei modelli di deep learning, soprattutto quelli che coinvolgono grandi quantità di dati. Il TSP utilizza le LPU per eseguire rapidamente queste operazioni in modo parallelizzato. La relazione tra i due componenti (TSP e LPU) funziona come una struttura centrale che coordina e controlla più unità di elaborazione per completare i calcoli in modo rapido e preciso.
Il risultato finale è che Groq consente di ottenere un output più veloce nell'inferenza, misurato in termini di token/sec a parità di modello, come puoi verificare dai benchmark presenti nella homepage del loro sito. Questo è sempre più importante, sia per le interazioni in tempo reale con le intelligenze artificiali, sia per l'evoluzione e l'interazione dei futuri sistemi di agenti.
Il round D, chiuso a inizio agosto, ha portato a Groq 640 milioni di dollari, con una valutazione di 2,4 miliardi. Con questi fondi, l'azienda potenzierà ulteriormente il suo parco LPU nel cloud e aggiungerà nuovi modelli e funzionalità al GroqCloud.
🖐️Tecnologia (data engineering). Costruire una piattaforma di generative AI: i consigli pratici di Chip Huyen
Chip Huyen è una Machine Learning Engineer che seguo da tempo e che ha scritto per O’Reilly un libro molto interessante: “Designing Machine Learning Systems”, di cui però ho letto alcune parti. Ma oggi non parleremo del libro, bensì di alcuni post recenti del suo splendido blog, che sintetizzano in modo chiaro e accessibile (per chi ha già una conoscenza base delle principali componenti dello stack tecnologico) l'attuale architettura di riferimento per la generative AI.
Il post da cui ti consiglio di iniziare è: “Building a generative AI platform”. Non farti ingannare dall’immagine finale che ti ho messo sopra e che rappresenta il punto di arrivo e l'architettura più complessa. Huyen parte invece da architetture più semplici, iniziando con una semplice chiamata al modello LLM e aggiungendo, passo dopo passo, una componente alla volta fino a raggiungere l'architettura più articolata.
I cinque step principali che descrive sono:
1. “Aumentare il contesto”
2. “Mettere Guardrails”
3. “Aggiungere Router e Gateway”
4. “Ridurre la latenza con la Cache”
5. “Aggiungere logica complessa e azioni”
In ognuno di questi passaggi, Huyen entra nel dettaglio degli aspetti implementativi e dei trade-off esistenti tra i diversi elementi. Alla fine, dedica spazio anche ai temi importantissimi dell’osservabilità e delle metriche.
Se gli argomenti e il modo con cui li tratta ti affascinano, come è successo a me, ecco altri approfondimenti, fatti sempre da lei, sul tema generative AI che considero di grande valore:
- Un elenco (in formato tabella Airtable) di oltre 900 tool open source, aggiornato ogni 12 ore, dove Huyen ha raccolto i principali progetti e strumenti utili per tutte le fasi di costruzione del tuo stack di generative AI.
- Uno splendido articolo, molto data-driven, in cui Huyen descrive l’evoluzione dei vari stack di generative AI negli ultimi 10 anni (sì, anche prima che la chiamassimo GenAI 🙂).
Questi articoli anticipano in parte il suo prossimo libro, in uscita a dicembre, “AI Engineering”, che credo avrà lo stesso successo del precedente.
E se sei appassionato di crescita personale, ma non solo nello stile dei guru americani, dai un’occhiata a questo post dove sempre la Huyen riflette in modo molto personale su questo tema. Mi piacciono molto le tre metriche principali che descrive, ma la terza (numero di opzioni future) è quella che ho utilizzato più spesso per le mie decisioni personali. Se leggi anche questo approfondimento, fammi sapere cosa ne pensi!
👅Etica & regolamentazione & impatto sulla società. Formazione AI: un dovere etico per le organizzazioni moderne
Credo che fornire una formazione di base a tutte le persone che lavorano all’interno delle organizzazioni (non solo quelle for profit) sull’uso dei nuovi strumenti messi a disposizione dalla generative AI sia un dovere etico. Questo vale sia per chi ha familiarità con questi argomenti sia per chi gestisce risorse economiche all'interno delle organizzazioni. La disomogeneità con cui questi strumenti, proprio come è accaduto con l'uso di internet, vengono e verranno utilizzati anche all’interno di gruppi omogenei di lavoratori è, secondo me, una delle principali cause di mancata produttività, di opportunità professionali limitate e anche alla fine delle forti diseguaglianze economiche.
Per questo motivo, è essenziale avere un piano operativo o contribuire a crearlo, indipendentemente dal livello dell’organizzazione in cui ciascuno di noi opera. Gli approfondimenti che ti suggerisco oggi sono strumenti che mi sono stati utili per semplificare e rendere più efficace questa fase di comunicazione con diversi interlocutori. Non è detto che siano altrettanto utili per te, ma potrebbero farti risparmiare tempo quando spieghi alcuni concetti semplici ma non banali a persone meno esperte.
Gli approfondimenti di oggi arrivano tutti da McKinsey, una società di consulenza molto brava nel fotografare e raccontare i trend attuali. Il primo approfondimento è una serie che definirei "What is XXX?", in cui vengono spiegati in modo semplice alcuni concetti base del mondo dei dati e dell’intelligenza artificiale. Ti consiglio di leggere "What is generative AI?", e se lo trovi utile, ci sono altri 7 articoli altrettanto interessanti.
Se ti chiedi cosa differenzia questi articoli da una semplice voce di Wikipedia, direi soprattutto due cose: il linguaggio molto più aziendale e i numerosi riferimenti a casi d’uso reali in ambito aziendale, che potrebbero esserti molto utili per parlare con interlocutori in ambito aziendale. Infine, se hai bisogno di supportare la decisione di implementare un modello operativo per l’AI e di definire una strategia, ti consiglio questo pezzo sempre di McKinsey, che spiega chiaramente l’importanza del tema e offre diverse opzioni su come strutturare il tutto, con esempi tratti da vari settori.
📅 Nel Mio Calendario
10 Ottobre 2024: verso sera sarò ospite di Profession.AI all’interno di un webinar dove fornirò il mio punto di vista sul cambiamento in corso all’interno delle organizzazioni e anche sulle opportunità e sfide del mondo dei dai e dell’AI all’interno delle organizzazioni stesse.
Se hai ulteriori suggerimenti e riflessioni sui temi di questo numero o per migliorare questa newsletter scrivimi (st.gatti@gmail.com) o commenta su substack.
Se ti è piaciuta e non sei ancora iscritto lascia la tua mail qui sotto e aiutami a diffonderla!
Alla prossima!