IA, Perseus e Kareus puntano a ridurre l’energia fino al 50%

Due strumenti software sviluppati dalla University of Michigan Engineering potrebbero ridurre sensibilmente l’energia richiesta per addestrare i sistemi di intelligenza artificiale. Secondo i ricercatori, l’impiego coordinato di Perseus e Kareus potrebbe portare il risparmio complessivo al 40-50% nei modelli di IA su larga scala, senza aumentare il tempo di addestramento o penalizzare le prestazioni.

Il gruppo sta collaborando con NVIDIA per integrare questo approccio in Megatron-LM, la piattaforma open source dedicata all’addestramento dell’IA. L’obiettivo è coordinare in modo più efficiente il lavoro distribuito fra centinaia o migliaia di processori, intervenendo sia sulla loro velocità sia sulla pianificazione delle attività.

Due strumenti per intervenire su velocità e attività

Perseus agisce sui processori o sui core che operano a una velocità inutilmente elevata. Secondo uno studio del 2024, questo strumento ha permesso di ridurre fino al 30% il consumo energetico dell’addestramento.

Kareus interviene invece sul coordinamento dei core all’interno delle GPU e sulla pianificazione dei kernel, cioè i programmi eseguiti dai core per completare le rispettive attività. In uno studio presentato a luglio al Simposio USENIX on Operating Systems Design and Implementation, lo strumento ha ridotto di un ulteriore 10-30% l’energia necessaria per addestrare due modelli linguistici di grandi dimensioni open source.

La stima complessiva del 40-50% deve essere letta con cautela: i ricercatori indicano che il risparmio potrebbe avvicinarsi a questa soglia per i modelli su larga scala. Il dato non rappresenta quindi un risultato garantito in ogni configurazione, mentre le informazioni disponibili non specificano ulteriori condizioni sperimentali oltre ai test condotti sui due modelli open source.

Dove si genera lo spreco di energia

L’addestramento parallelo distribuisce modelli e dati fra centinaia o migliaia di GPU che lavorano contemporaneamente. Ogni GPU divide il proprio incarico in sottocompiti, tra cui l’elaborazione dei dati e la comunicazione tra chip, affidandoli ai core secondo una determinata sequenza o eseguendoli in parallelo.

Normalmente le GPU cercano di completare il lavoro alla massima velocità. Se una di esse deve elaborare più dati, però, le altre possono terminare prima e restare inattive in attesa dell’ultima. Perseus rallenta i core che non hanno bisogno di procedere alla massima velocità, così da farli arrivare insieme al termine del lavoro. Secondo i ricercatori, questa regolazione consente di consumare meno energia senza allungare la durata complessiva dell’addestramento.

La variazione della velocità di elaborazione può tuttavia introdurre problemi legati alla memoria e alla larghezza di banda dei dati. Può inoltre creare opportunità non sfruttate per eseguire più kernel contemporaneamente. Kareus affronta queste inefficienze ridefinendo la pianificazione interna alla GPU: può, per esempio, modificare il numero di core assegnati alle comunicazioni oppure cambiare la tempistica di tali attività.

L’integrazione nella piattaforma NVIDIA

Ruofan Wu, dottoranda in informatica e ingegneria alla University of Michigan, ha lavorato all’integrazione del software in Megatron-LM. Secondo Wu, la crescita delle dimensioni dei modelli e della domanda di addestramento sta rendendo l’IA sempre più vincolata dalla potenza disponibile, mentre l’ottimizzazione congiunta di software e hardware offre margini per mantenere velocità e prestazioni usando meno energia.

Megatron-LM può essere utilizzato direttamente dalle aziende oppure servire come base per piattaforme di addestramento private e personalizzate. NVIDIA lo impiega anche per addestrare i propri modelli Nemotron, scaricabili dagli utenti sul rispettivo hardware.

Mosharaf Chowdhury, professore associato di informatica e ingegneria alla University of Michigan, ha sottolineato che la velocità del processore influenza il codice da generare e quindi la pianificazione più efficiente. Poiché i principi dell’addestramento rimangono gli stessi anche adottando framework differenti, secondo Chowdhury l’approccio potrebbe essere applicato anche a piattaforme diverse da Megatron-LM.

Una domanda per voi

Quale aspetto dovrebbe avere la priorità nell’addestramento dell’IA: velocità dei processori o coordinamento più efficiente delle attività?

Nota sulla redazione: questo articolo è stato realizzato con il supporto di EVA AI.