GPU Training Cost Calculator

Výzkumné laboratoře umělé inteligence používají clustery H100 pro předtréninkové základní modely. Výzkumný tým trénující 7B parametrický model na 1 bilionu tokenů používá 64 GPU H100 po dobu přibližně 10 dní. Při rezervované ceně 3,50 USD za hodinu GPU to stojí přibližně 53 760 USD plus 5 000 USD za úložiště a síť. Výsledný model lze poté doladit a nasadit pro konkrétní aplikace, přičemž amortizuje náklady na předškolení v mnoha případech následného použití.

Startupy dolaďují modely s otevřeným zdrojovým kódem na proprietárních datech a vytvářejí tak odlišné produkty umělé inteligence. Právní technologický startup dolaďuje Llama 3 70B na 50 000 právních dokumentech pomocí 8 GPU A100 po dobu 48 hodin v Lambda Labs za 2,50 USD za hodinu GPU, přičemž utratí 960 USD. Vyladěný model překonává GPT-4o v jejich specifických úkolech právní analýzy, přičemž běží za zlomek odvozených nákladů, protože jej hostují sami.

Podnikové týmy ML školí vlastní počítačové vidění a modely NLP pro interní aplikace. Výrobní společnost trénuje model detekce defektů na 4 GPU A10G po dobu 20 hodin na AWS, přičemž utratí přibližně 88 USD. Vyškolený model je nasazen na 15 továrních kontrolních stanicích, čímž nahrazuje proces ruční kontroly, který dříve vyžadoval 30 techniků kontroly kvality, a šetří více než 1 milion USD ročně na mzdových nákladech.

Akademické výzkumné skupiny používají okamžité instance GPU k trénování experimentálních modelů s omezeným rozpočtem. Univerzitní výzkumná laboratoř trénuje nové varianty architektury pomocí instancí RunPod spot A100 za 0,80 $ za hodinu GPU. Jejich měsíční výpočetní rozpočet ve výši 500 USD podporuje přibližně 625 hodin GPU, což je dost na trénování a hodnocení 20 až 30 variant modelu. Manipulace s obnovením kontrolních bodů zajišťuje, že bodová přerušení zvyšují minimální režii.

Které GPU bych měl použít pro jemné doladění?

Pro modely do parametrů 7B stačí jeden A100 80 GB a je cenově výhodný za 1,50 až 3,00 $ za hodinu. Pro modely 13B až 34B použijte 2 až 4 A100. Pro modely 70B použijte 4 až 8 A100 nebo 2 až 4 H100. H100 je 2 až 3krát rychlejší na GPU, ale také dražší, takže je cenově nejefektivnější, když je prioritou čas na trénink. A10G (24GB) funguje pro jemné doladění modelů až do 7B pomocí technik jako LoRA a QLoRA.

Jak odhadnu čas školení z velikosti datové sady?

Hrubý vzorec: Tréninkové hodiny = (Tokeny datové sady x Epochy) / (Tokeny za sekundu na GPU x Počet GPU x 3600). A100 zpracovává přibližně 3 000 až 5 000 tokenů za sekundu pro model 7B během jemného ladění. Tedy 10 milionů tokenových datových souborů za 3 epochy na jednom A100: 30M / (4000 x 1 x 3600) = přibližně 2,1 hodiny. U předběžného školení se propustnost více liší v závislosti na architektuře modelu a nastavení optimalizace.

Stojí spotová cena za riziko přerušení?

U běhů jemného ladění kratších než 8 hodin ušetří spotové instance 50 až 80 procent a přerušení jsou vzácná (obvykle méně než 5 procent pravděpodobnosti za hodinu). U delších tréninkových běhů se zvyšuje kumulativní pravděpodobnost přerušení. Implementujte ukládání kontrolních bodů každých 30 až 60 minut a logiku automatického restartu. Očekávané úspory nákladů díky spotovým cenám téměř vždy převažují nad režií občasných restartů, zejména u pracovních zátěží, které často šetří kontrolní body.

O kolik levnější jsou specializovaní poskytovatelé GPU oproti AWS?

Specializovaní poskytovatelé jako Lambda Labs, CoreWeave a RunPod obvykle nabízejí o 30 až 60 procent nižší ceny než AWS, GCP a Azure za ekvivalentní hardware GPU. Instance A100 80 GB stojí 1,10 až 1,50 $ za hodinu na Lambda Labs oproti 2,50 až 3,00 $ na AWS. Kompromisem je méně globálních regionů, menší týmy podpory a méně integrovaných nástrojů. Pro čistě výpočetní zátěž GPU bez složitých závislostí na cloudových službách nabízejí specializovaní poskytovatelé přesvědčivou hodnotu.

Mohu pro trénink používat spotřebitelské GPU jako RTX 4090?

Spotřební GPU jako RTX 4090 (24GB VRAM) zvládnou jemné doladění modelů až do 7B parametrů pomocí paměťově efektivních technik, jako je QLoRA. V případě domácích laboratorních nastavení stojí RTX 4090 za 1 600 USD amortizovaných za 2 roky používání přibližně 0,09 USD za hodinu GPU, což je 10 až 30krát levnější než cloudové pronájmy. Spotřební GPU však postrádají 80GB VRAM a širokopásmové propojení potřebné pro větší modely a distribuované školení s více GPU.

Kolik VRAM potřebuji pro různé velikosti modelu?

Hrubý návod: Model 7B potřebuje přibližně 14 GB VRAM pro odvození a 28 GB pro úplné jemné doladění (vejde se na jeden A100 80 GB). 13B potřebuje 26 GB pro odvození a 52 GB pro jemné doladění (dva A100). 70B potřebuje 140 GB pro odvození (dva A100) a 280 GB pro úplné jemné doladění (čtyři A100). Použití LoRA nebo QLoRA snižuje jemné ladění VRAM o 60 až 80 procent, což umožňuje 7B model doladit na jediném 24GB GPU.