What is LLM Latency Cost Calculator?
▾
LLM Latency Cost Calculator pomáhá vývojářům kvantifikovat skryté náklady na dobu odezvy v aplikacích AI modelováním doby do prvního tokenu (TTFT), propustnosti tokenů za sekundu a celkové doby odezvy napříč různými modely a konfiguracemi. Zatímco většina diskusí o nákladech se zaměřuje na ceny tokenů, latence má svůj vlastní ekonomický dopad: pomalejší odezvy zvyšují opuštění uživatelů, snižují kapacitu propustnosti a snižují vnímanou kvalitu funkcí poháněných umělou inteligencí. Latence se u různých modelů a poskytovatelů dramaticky liší. GPT-4o obvykle dodává čas do prvního tokenu za 200 až 500 milisekund a generuje 80 až 120 tokenů za sekundu. GPT-4o-mini je rychlejší při 100 až 300 ms TTFT a 100 až 150 tokenech za sekundu. Claude Sonnet 4 se pohybuje od 300 do 700 ms TTFT se 70 až 100 tokeny za sekundu. Tyto rozdíly znamenají, že odezva 500 tokenů trvá 3 až 7 sekund v závislosti na volbě modelu, což má přímý dopad na uživatelskou zkušenost a návrh aplikace. Tato kalkulačka modeluje celkové náklady na latenci včetně přímých nákladů na rozhraní API, nákladů na infrastrukturu na udržování otevřených připojení, míry opuštění uživatelů korelované s dobou odezvy a dopady na propustnost pomalejších modelů vyžadujících více souběžných připojení pro obsluhu stejného objemu požadavků. Pro aplikace v reálném čase, jako jsou chatboti a vyhledávání, může mít optimalizace latence stejný dopad jako optimalizace nákladů na token pro celkovou ekonomiku systému.
Calkulon makes complex calculations simple — built for students and everyday problem-solvers.
Vzorec
▾
Celková doba odezvy = čas do prvního tokenu + (výstupní tokeny / tokeny za sekundu). Efektivní cena za požadavek = cena tokenu API + (doba odezvy / 3 600) x náklady na připojení k serveru za hodinu + pravděpodobnost poklesu x ztracený příjem na uživatele. Například: 400 ms TTFT + 300 tokenů při 100 tok/s = 400 ms + 3 000 ms = celková doba odezvy 3,4 sekundy.Variable Legend
▾
| Symbol | Jméno | Jednotka | Popis |
|---|---|---|---|
| TTFT | Čas na první token | milliseconds | Prodleva mezi odesláním požadavku API a přijetím prvního tokenu odpovědi, která představuje minimální vnímanou latenci. |
| TPS | Tokeny za sekundu | tokens per second | Rychlost generování po prvním tokenu, která určuje, jak rychle se vytvoří plná odezva, obvykle 80 až 150 u standardních modelů. |
| T_out | Počet výstupních tokenů | tokens | Počet tokenů v odezvě modelu, vynásobený rychlostí generování, určuje trvání streamování po TTFT. |
| D | Míra opuštění | ratio per second of latency | Odhadovaný podíl uživatelů, kteří opustí interakci za další sekundu doby odezvy, obvykle 5 až 15 procent za sekundu nad prahovou hodnotou 3 sekund. |
| V_user | Hodnota na ztraceného uživatele | USD | Odhadované tržby nebo ztráta hodnoty zákazníka, když uživatel opustí interakci AI kvůli nadměrné latenci. |
How to LLM Latency Cost Calculator
▾
- 1Změřte nebo odhadněte čas do prvního tokenu (TTFT) pro vybraný model a konfiguraci. TTFT je prodleva mezi odesláním požadavku API a přijetím prvního tokenu odpovědi. Závisí to na složitosti modelu, délce vstupní výzvy, zatížení serveru a geografické vzdálenosti od koncového bodu API. GPT-4o TTFT se pohybuje od 200 do 500 ms, zatímco uvažování modelů jako o1 může trvat 2 až 10 sekund pro počáteční fázi myšlení.
- 2Určete rychlost generování tokenů za sekundu pro váš model. Jedná se o rychlost, s jakou model produkuje výstupní tokeny po příchodu prvního tokenu. Standardní modely generují 80 až 150 tokenů za sekundu. Delší výstupy trvají úměrně déle: odezva 500 tokenů při 100 tokenech za sekundu trvá 5 sekund po TTFT. Streamování odezvy uživatelům snižuje vnímanou latenci tím, že zobrazuje tokeny při jejich příchodu.
- 3Vypočítejte celkovou dobu odezvy pro vaše typické výstupní délky. Pro chatbota s odezvami 200 tokenů na GPT-4o: TTFT (350 ms) + generování (200 tokenů / 100 tokenů/s = 2 000 ms) = celkem 2,35 sekundy. Pro funkci generování obsahu s výstupy 1 000 tokenů: TTFT (350 ms) + generování (10 000 ms) = 10,35 sekund. Tyto časy určují, zda funkce uživatelům připadá citlivá nebo pomalá.
- 4Modelujte dopad latence na uživatelskou zkušenost. Výzkum ukazuje, že spokojenost uživatelů výrazně klesá nad 3sekundové doby odezvy. U chatbotů odpovědi delší než 5 sekund způsobí, že 20 až 30 procent uživatelů opustí konverzaci. U vyhledávacích funkcí výsledky trvající déle než 2 sekundy zaznamenávají o 10 až 15 procent nižší zapojení. Kalkulačka přiřadí této ztracené interakci dolarovou hodnotu na základě vašich konverzních poměrů a celkové hodnoty uživatele.
- 5Vypočítejte kapacitu propustnosti a její cenové důsledky. Server, který zpracovává odpovědi streamování, musí držet připojení otevřená po celou dobu trvání odpovědi. Pokud každá odpověď trvá 5 sekund, jedno vlákno serveru zpracuje 12 požadavků za minutu. Přechod na rychlejší model, který odpovídá za 2 sekundy, zvyšuje propustnost na 30 požadavků za minutu, což vyžaduje o 60 procent méně serverových prostředků pro stejný provoz. Tato úspora infrastruktury může převýšit rozdíl v nákladech API mezi modely.
- 6Porovnejte celkové náklady napříč možnostmi modelu, včetně cen tokenů a nákladů na latenci. Levnější model na token, který je pomalejší, může ve skutečnosti stát více při zohlednění infrastruktury, výpadků uživatelů a omezení propustnosti. Kalkulačka vytváří celkové ekonomické srovnání, které zahrnuje náklady na API, náklady na server a odhadovaný dopad na výnosy z latence.
- 7Optimalizujte latenci prostřednictvím změn konfigurace. Snížení limitů výstupních tokenů pomocí max_tokens, použití streamování ke zlepšení vnímané odezvy, implementace rychlého ukládání do mezipaměti pro snížení TTFT a výběr geograficky bližších koncových bodů API může snížit latenci o 20 až 50 procent bez změny modelů. Kalkulačka modeluje dopad každé optimalizace na náklady.
Worked Examples
▾
Pro chatbota, který cílí pod 3sekundové odezvy, GPT-4o a GPT-4o-mini oba splňují práh, zatímco Claude Sonnet 4 je hraniční. GPT-4o-mini je o 28 procent rychlejší než GPT-4o a o 94 procent levnější, takže je optimální volbou pro většinu aplikací chatbotů.
Každé vygenerování 1 000 tokenů trvá 10,4 sekundy. Chcete-li obsluhovat 50 souběžných uživatelů, potřebujete přibližně 9 podprocesů serveru s otevřenými připojeními. Při ceně 5 USD za hodinu pro serverovou infrastrukturu náklady na propustnost přidávají 0,0024 USD za požadavek k ceně tokenu API.
Po 200 ms pro načtení a 150 ms TTFT zbývá 1 450 ms pro generování tokenu. Při rychlosti 130 tokenů za sekundu je maximální výkon 188 tokenů. Pokud funkce potřebuje delší odezvy, musí se zvýšit rozpočet na latenci, nebo je potřeba rychlejší model nebo zkrácení doby načítání.
Real-World Applications
▾
Vyhledávače s generováním odpovědí na základě umělé inteligence musí poskytnout výsledky do 2 až 3 sekund, aby odpovídaly očekáváním uživatelů, která jsou nastavena tradičním vyhledáváním. Vyhledávací platforma využívající GPT-4o pro syntézu odpovědí má rozpočet 500 ms na vyhledání a 2 000 ms na generování LLM. Při rychlosti 100 tokenů za sekundu mohou v rámci rozpočtu latence vygenerovat přibližně 170 tokenů (asi 130 slov). Toto omezení určuje maximální délku odpovědi a řídí výběr nejrychlejšího dostupného modelu.
Překladatelské služby v reálném čase musí minimalizovat latenci toku konverzace. Funkce živého překladu pomocí GPT-4o-mini dosahuje 150 ms TTFT a 130 tokenů za sekundu, přičemž přeloží větu o 50 slovech (přibližně 80 výstupů tokenů) celkem za 0,77 sekundy. Tato subsekundová latence umožňuje přirozené tempo konverzace. Použití GPT-4o by místo toho přidalo 200 ms TTFT a snížilo propustnost, což by vytvořilo znatelné pauzy, které narušují tok konverzace.
Platformy pro obchodování a finanční analýzu využívají LLM pro komentování trhu v reálném čase a generování výstrah. Latence přímo ovlivňuje hodnotu informací, které se pohybují na trhu. Finanční platforma využívající GPT-4o-mini pro 100-tokenové výstrahy trhu dosahuje doručení za méně než 1 sekundu, čímž splňuje požadavek na časově citlivé finanční informace. Platforma směruje delší analytické kusy do GPT-4o na pozadí, kde je latence méně kritická.
Hlasoví asistenti a aplikace AI s podporou hlasu mají přísné rozpočty na latenci, protože uživatelé očekávají okamžité verbální reakce. Celkový kanál od převodu řeči na text (300 až 500 ms) přes generování LLM po převod textu na řeč (200 až 400 ms) musí být dokončen během 2 až 3 sekund. To ponechává pouze 1 až 2 sekundy na generování LLM, což omezuje výběr modelu a délku odezvy. Mnoho hlasových aplikací používá GPT-4o-mini nebo Claude Haiku speciálně pro jejich rychlejší TTFT.
Special Cases
▾
Pro modely uvažování jako o1 a o3 zahrnuje TTFT rozšířené myšlení
U modelů uvažování jako o1 a o3 zahrnuje TTFT rozšířenou fázi myšlení, která může trvat 2 až 30 sekund v závislosti na složitosti problému. Tato doba přemýšlení je účtována rychlostí výstupního tokenu, ale není viditelná ve streamované odpovědi. Požadavek, který produkuje 200 viditelných výstupních žetonů, mohl spotřebovat 2 000 až 5 000 myslících žetonů, což vytvořilo jak penalizaci za latenci, tak skrytý multiplikátor nákladů. Modely uvažování by se měly používat pouze pro úkoly, kde doba přemýšlení přináší měřitelně lepší výsledky.
Při nasazování LLM za globální bránou CDN nebo API se přidaná síť přeskakuje
Při nasazování LLM za globální bránou CDN nebo API zavádějí přidané síťové skoky 10 až 50 ms dodatečné latence na požadavek. I když je tato režie jednotlivě malá, sdružuje se v aplikacích agentů, které provádějí 5 až 15 sekvenčních volání LLM. Potrubí agentů s 10 po sobě jdoucími voláními akumuluje 100 až 500 ms režie brány. U aplikací agentů citlivých na latenci minimalizujte síťové skoky mezi orchestrátorem a koncovým bodem LLM API.
Volání funkce a použití nástroje přidávají latenci, protože model musí generovat
Volání funkce a použití nástroje přidávají latenci, protože model musí generovat strukturovaný výstup JSON (který je pomalejší než přirozený jazyk) a poté počkat na výsledek nástroje, než bude pokračovat. Každé zavolání nástroje tam a zpět přidává celou dobu provádění nástroje TTFT plus. Agent, který provede 3 volání nástroje, přidá přibližně 1 až 3 sekundy latence LLM plus doby odezvy externího nástroje. Navrhněte rozhraní nástrojů tak, aby se minimalizovaly zpáteční cesty dávkováním více dotazů do jediného volání nástroje tam, kde je to možné.
Srovnávací hodnoty latence LLM (střední hodnoty pro rok 2025)
▾
| Model | TTFT (medián) | Tokeny/sekunda | Odpověď 200 tokenů | Odpověď 500 tokenů |
|---|---|---|---|---|
| GPT-4o | 350 ms | 100 tok/s | 2,35 s | 5,35 s |
| GPT-4o-mini | 150 ms | 130 tok/s | 1,69 s | 4,00 s |
| Claude Sonet 4 | 500 ms | 80 tok/s | 3,00 s | 6,75 s |
| Claude Haiku | 200 ms | 120 tok/s | 1,87 s | 4,37 s |
| Gemini 1.5 Flash | 200 ms | 140 tok/s | 1,63 s | 3,77 s |
| o1 (důvod) | 3 000 ms | 50 tok/s | 7:00 | 13:00 |
| Lama 3 70B (H100) | 100 ms | 90 tok/s | 2,32 s | 5,66 s |
Frequently Asked Questions
▾
Která LLM má nejnižší latenci?
Mezi hlavními komerčními modely GPT-4o-mini trvale poskytuje nejnižší latenci s 100 až 200 ms TTFT a 120 až 150 tokeny za sekundu. Claude Haiku je podobně rychlý. Mezi vlajkovými modely je GPT-4o o něco rychlejší než Claude Sonnet 4. Uvažovací modely jako o1 jsou výrazně pomalejší s TTFT 2 až 10 sekund kvůli vnitřnímu myšlení. Samoobslužné modely na GPU H100 mohou dosáhnout TTFT pod 100 ms, ale vyžadují značné investice do infrastruktury.
Jak délka výzvy ovlivňuje latenci?
Delší vstupní výzvy zvyšují TTFT, protože model musí zpracovat všechny vstupní tokeny před vygenerováním prvního výstupního tokenu. Zpracování 1 000 vstupních tokenů obvykle přidá 100 až 300 ms ve srovnání s minimální výzvou. Zpracování 10 000 vstupních tokenů může přidat 500 až 1 500 ms. To je důvod, proč RAG aplikace s velkým načteným kontextem mají vyšší latenci než jednoduché interakce chatbota. Ukládání výzev do mezipaměti (dostupné z Anthropic) eliminuje tuto dobu zpracování pro opakované předpony výzev.
Mám používat streamování pro všechna volání API?
Streamování by mělo být použito pro jakoukoli uživatelskou odpověď, jejíž generování trvá déle než 1 sekundu. U programových volání rozhraní API, kde je výstup zpracováván kódem, nikoli zobrazován uživatelům, je nestreamování jednodušší a má zanedbatelnou výhodu z latence. Streamování zvyšuje minimální složitost kódu u většiny sad SDK a je podporováno všemi hlavními poskytovateli bez dalších nákladů. Vnímané zlepšení latence při streamování je podstatné: 10sekundová odezva při streamování vypadá jako 1 sekunda.
Jak mohu snížit TTFT pro svou aplikaci?
Mezi klíčové optimalizace TTFT patří: použití rychlého ukládání do mezipaměti k přeskočení zpracování opakovaných předpon výzev (úspora 200 až 500 ms), výběr geograficky bližších koncových bodů API (úspora 50 až 200 ms zpáteční cesty sítě), zkrácení délky vstupní výzvy (úspora 100 až 500 ms) a použití rychlejších modelů až 4veso – jako je 0mini0ms (s 0mini0ms) oproti GPT-4o). U modelů s vlastním hostitelem může GPU akcelerovaná inference s optimalizovanými obslužnými rámcemi, jako je vLLM, dosáhnout TTFT pod 100 ms.
Jaká je přijatelná latence pro různé typy aplikací?
Vyhledávání a automatické doplňování: méně než 500 ms. Odpovědi chatbota: méně než 3 sekundy (se streamováním). Generování obsahu: méně než 10 sekund (s indikátorem průběhu streamování). Dávkové zpracování: minuty až hodiny (žádná latence). Hlasoví asistenti: celkový kanál pod 2 sekundy. Dokončení kódu: méně než 500 ms pro vložené návrhy. Tyto prahové hodnoty vycházejí z průzkumu uživatelské zkušenosti a konkurenčních benchmarků.
Common Mistakes to Avoid
▾
- !Optimalizace pouze pro náklady na token při ignorování dopadu latence:
- !Nepoužívat streamování pro dlouhé odpovědi:
- !Ignorování rozptylu TTFT a latence P99:
Pro Tip
Implementujte rozpočet latence pro celý kanál požadavků a přidělte jej mezi komponenty. Pro 3sekundový rozpočet chatbota: 200 ms pro síť a předběžné zpracování, 200 ms pro načtení RAG, 300 ms pro TTFT a 2 300 ms pro generování tokenu (umožňující přibližně 300 tokenů při 130 tok/s na GPT-4o-mini). Tento přístup k rozpočtu zabraňuje tomu, aby jednotlivé komponenty spotřebovávaly více, než je jejich podíl, a zdůrazňuje, že komponenta potřebuje optimalizaci nebo je vyžadován rychlejší model.
Did you know?
Lidská konverzace má přirozenou mezeru asi 200 milisekund mezi tím, že jedna osoba skončí a druhá začne mluvit. Když doba odezvy AI chatbota překročí 3 sekundy, uživatelé nevědomě přijmou mentální model „vyhledávání na webu“ namísto mentálního modelu „konverzace“, stanou se méně zapojenými a pravděpodobněji opustí. Dosažení odpovědí kratších než 2 sekundy udržuje uživatele v konverzačním myšlení a zvyšuje skóre zapojení i spokojenosti o 25 až 40 procent.
Regional Guides
▾
North America▾
Europe▾
Asia-Pacific▾
References
Ratings & comments
Získejte týdenní matematické tipy
Připojte se k 12 000+ odběratelům, kteří každý týden dostávají tipy na kalkulačku.