È come usare gli strumenti di IA basati sul cloud, ma la privacy li rende decisamente più appetibili. Dopo anni di esitazione, ho deciso di intraprendere un percorso che finora avevo evitato: usare l'IA in modo continuativo. Affidare i miei dati più personali ai servizi cloud è sempre stato un freno, ma oggi è sempre più possibile eseguire modelli potenti in locale per capire di cosa sono capaci. La domanda è: questa tecnologia è così utile da giustificare l'acquisto di un computer con montagne di RAM costosissima? Non sono un esperto di IA, ma proverò a scoprirlo insieme a voi.
Un agente tutto mio, finalmente
Gran parte della strategia di Apple per i nuovi Mac desktop punta proprio sulle capacità per l'IA locale, e sta per arrivare un'intera linea di macchine Windows RTX Spark con fino a 128GB di RAM pensate per l'IA agentica. L'idea di avere un piccolo assistente che vive solo nel computer sulla mia scrivania, risponde solo a me e non a OpenAI, Google, Microsoft o Anthropic, ha tutto un altro sapore rispetto a fidarsi del cloud. Non fraintendetemi: non lo lascerò mai scrivere o modificare testi al posto mio, né generare volantini orribili. Ma con un po' di privacy dalla mia parte, forse posso finalmente trovargli un impiego utile.
Come parte dei miei test sul Mac Studio M5 Ultra, ho installato alcuni LLM locali. Ho iniziato con Hermes Agent, un'app desktop open source per macOS, Windows e Linux, gratuita se si usano modelli locali. Con 256GB di memoria unificata, posso eseguire quasi qualsiasi modello: ho scelto Qwen 3.8 Flash Next, un modello da 125 miliardi di parametri e circa 105GB di dimensione. Configurarlo è stato rapido, e sono persino riuscito a controllarlo dal telefono tramite un bot Telegram. Poi però mi sono scontrato con il mio solito nemico: la casella di testo.
Piccoli successi, grandi frustrazioni
Seguendo i consigli di YouTube, ho creato un briefing mattutino automatico che scansiona email e calendario e fornisce il meteo. All'inizio falliva sempre: macOS non poteva essere in stop alle 7:30 del mattino. Ora funziona come un orologio. Più utile è stata la riorganizzazione della mia libreria Steam con oltre 400 giochi: dopo aver registrato una chiave API, Hermes li ha suddivisi per genere in pochi minuti, lasciando intatte le mie categorie personalizzate. Ho anche usato l'agente per analisi finanziarie e confronti di specifiche tecniche, dati che non affiderei mai al cloud.
Attualmente sto lavorando a uno script per automatizzare una serie di benchmark sui portatili, un compito noioso e ripetitivo. Non è semplice, ma spero di fare progressi. È ancora presto, e anche questi modelli potenti non sono un assistente magico: le cose non funzionano sempre come previsto, e il mio briefing si è già rotto più volte. Considero Hermes e l'IA locale solo uno strumento, un programma da eseguire sul mio computer. Non voglio un amico digitale: niente "grazie" o "per favore". Resto freddo e indifferente come quando clicco col mouse. Continuerò a testare con cautela, chissà dove mi porterà.
