Nástroj pro rychlou predikci spotřeby energie AI workloadů může zefektivnit provoz datacenter

Datová centra čelí zásadnímu problému: jejich energetická náročnost prudce roste. Podle Lawrence Berkeley National Laboratory budou datacentry do roku 2028 spotřebovávat až 12 % veškeré elektřiny v USA.

Pro IT manažery a provozovatele infrastruktury to představuje nejen otázku udržitelnosti, ale především rostoucích provozních nákladů a nutnosti efektivnějšího plánování kapacit. Výzkumníci z MIT a MIT-IBM Watson AI Lab nyní přicházejí s řešením, které může výrazně usnadnit rozhodování o alokaci výpočetních zdrojů. Vyvinuli nástroj, který během několika sekund odhadne, kolik energie spotřebuje konkrétní AI workload běžící na určitém procesoru nebo akcelerátoru.

Proč tradiční metody nestačí

Uvnitř datacenter pracují tisíce výkonných grafických procesorů (GPU), které trénují a provozují AI modely. Spotřeba konkrétního GPU se přitom liší podle jeho konfigurace a typu úlohy, kterou právě zpracovává.

Dosavadní metody predikce spotřeby typicky rozkládají workload na jednotlivé kroky a emulují využití každého modulu uvnitř GPU krok za krokem. U rozsáhlých AI úloh, jako je trénování modelů nebo předzpracování dat, může taková simulace trvat hodiny až dny.

„Pokud jako provozovatel chci porovnat různé algoritmy nebo konfigurace a najít energeticky nejefektivnější řešení, a jedna emulace mi zabere několik dní, stává se to velmi nepraktickým,“ vysvětluje Kyungmi Lee, hlavní autorka studie.

EnergAIzer: Predikce v řádu sekund

Výzkumný tým zvolil jiný přístup. Výzkumníci vycházeli z toho, že AI workloady obsahují mnoho opakovatelných vzorců. Vývojáři algoritmů totiž optimalizují své programy tak, aby běžely na GPU co nejefektivněji – využívají strukturované optimalizace pro distribuci práce napříč paralelními výpočetními jádry a přesouvají data co nejúsporněji.

„Tyto optimalizace, které softwaroví vývojáři používají, vytvářejí pravidelnou strukturu, a právě tu se snažíme využít,“ uvedla Lee.

Výsledkem je estimační model nazvaný EnergAIzer, který zachycuje vzorce spotřeby energie GPU právě z těchto optimalizací.

Korekce pro přesnost reálného provozu

Rychlá estimace sama o sobě ale nezahrnovala všechny energetické náklady. Při každém spuštění programu existuje fixní energetická režie na inicializaci a konfiguraci. Při každé operaci s daty vznikají další náklady. Navíc kvůli fluktuacím v hardwaru nebo konfliktům při přístupu k datům nemusí GPU využít veškerou dostupnou šířku pásma, což operace zpomaluje a časem zvyšuje spotřebu.

Výzkumníci proto shromáždili reálná měření z GPU a vygenerovali korekční členy, které aplikovali na svůj estimační model. Uživatel jednoduše zadá informace o workloadu – jaký AI model chce spustit, počet a délku uživatelských vstupů ke zpracování – a EnergAIzer vrátí odhad spotřeby během několika sekund.

Lze také měnit konfiguraci GPU nebo upravovat provozní rychlost a sledovat, jak tyto volby ovlivňují celkovou spotřebu.

Výsledky testování a další vývoj

Při testování na reálných AI workloadech dosáhl EnergAIzer přesnosti s chybou pouze kolem 8 % – srovnatelné s tradičními metodami, které potřebují hodiny na výpočet. Nástroj navíc dokáže predikovat spotřebu i u budoucích GPU a nových konfigurací zařízení, pokud se hardware v krátkém čase zásadně nezmění.

Pro provozovatele datacenter nabízí tento přístup zajímavou perspektivu. V době, kdy ceny energií zůstávají volatilní a regulatorní tlak na udržitelnost roste, může schopnost rychle odhadnout energetickou náročnost různých AI scénářů zásadně ovlivnit rozhodování o nasazení modelů, výběru hardwaru i celkovou TCO analýzu.

Výzkum byl částečně financován MIT-IBM Watson AI Lab.

Zdroj: news.mit.edu

Zdroj ilustračního obrázku: vygenerováno pomocí AI: