Ling-3.0-tiny: IA open source che gira su Mac mini
Ant Group lancia Ling-3.0-tiny su Hugging Face: modello AI leggero con architettura MoE da 7,9 miliardi di parametri, ottimizzato per girare in locale su Mac mini e MacBook con chip Apple Silicon.
Il team di ricerca Ling di Ant Group (la divisione tech di Alibaba legata ad Alipay) ha pubblicato in open source su Hugging Face il modello Ling-3.0-tiny, pensato esplicitamente per chi vuole fare inferenza AI direttamente sul proprio computer, senza affidarsi a server cloud costosi.
Sotto il cofano troviamo un'architettura MoE (Mixture of Experts) ibrida e leggera: il modello conta 7,9 miliardi di parametri totali, ma ne attiva solo 1,3 miliardi per ogni token elaborato, il che lo rende molto più efficiente rispetto a modelli di dimensioni simili sulla carta. La rete usa 128 esperti instradati (routed experts) e combina due tecniche di attenzione — KDA e MLA — in rapporto 3:1, trovando un buon equilibrio tra capacità di comprensione del contesto e costi computazionali.
La vera domanda da farsi ora è se questo sia l'inizio di un trend più ampio o un caso isolato.
La noi della redazione ha notato con interesse che il modello è disponibile in tre versioni di peso: BF16, FP8 e INT4, così da adattarsi a hardware diversi. È stato già testato ufficialmente su Nvidia DGX Spark, sui MacBook con chip Apple Silicon e sul Mac mini. Le prestazioni dichiarate su un MacBook con chip M4 Pro sono di circa 86-90 token al secondo, con un picco di occupazione della RAM di soli 8,34 GiB in contesti da 8K token — numeri decisamente rispettabili per un modello locale.
Ling-3.0-tiny supporta due modalità operative: risposta rapida per chi ha bisogno di interazioni veloci, e ragionamento multi-step per compiti più complessi. Il modello è scaricabile liberamente dalla pagina ufficiale su Hugging Face (inclusionAI/Ling-3.0-tiny) e rappresenta un'opzione concreta per sviluppatori e appassionati che vogliono sperimentare con l'AI generativa in locale, su hardware consumer.
Mi piace provare davvero i prodotti prima di parlarne. Per questo le mie recensioni nascono da periodi di test reali, di almeno una settimana, così da capire come si comporta un dispositivo nell’uso di tutti i giorni e non solo nei primi minuti.