What is Token Cost Calculator?
▾
Kalkulátor nákladů na tokeny převádí text na tokeny a vypočítává přesné náklady na rozhraní API pro jakéhokoli poskytovatele LLM. Tokeny jsou základní fakturační jednotkou pro všechna rozhraní API hlavních jazykových modelů, kde jeden token obsahuje přibližně 4 anglické znaky nebo 0,75 slova. Různí poskytovatelé používají různá schémata tokenizace: OpenAI používá kódování byte-pair (BPE) s tokenizerem cl100k_base pro GPT-4o, Anthropic používá podobný tokenizér BPE a Google Gemini používá SentencePiece. Stejný text může u různých poskytovatelů vytvářet různé počty tokenů, což ovlivňuje výpočty nákladů. Tato kalkulačka je nezbytným prvním krokem pro jakékoli cvičení plánování nákladů AI. Před odhadem měsíčních nákladů na API musíte vědět, kolik tokenů obsahují vaše typické výzvy a odpovědi. Dokument o 1 000 slovech má přibližně 1 333 tokenů v angličtině. Typická výzva systému chatbota je 200 až 500 tokenů. Podrobná výzva k několika výstřelům s 5 příklady může být 2 000 až 3 000 tokenů. Tato měření přímo určují vaše náklady na API a měsíční náklady na žádost. Kalkulačka podporuje všechny hlavní poskytovatele a modely a zobrazuje počet tokenů a náklady vedle sebe. Zahrnuje také režim zadávání textu, kde můžete vkládat skutečné výzvy nebo dokumenty, abyste získali přesný počet tokenů, nikoli odhady. Pochopení tokenizace je zvláště důležité pro neanglické jazyky, kde může být počet tokenů 1,5 až 3krát vyšší než v angličtině pro stejný sémantický obsah kvůli tomu, jak BPE zpracovává různé znakové sady.
Calkulon makes complex calculations simple — built for students and everyday problem-solvers.
Vzorec
▾
Cena = (počet tokenů / 1 000 000) x cena za milion tokenů. Počet tokenů se přibližně rovná počtu slov / 0,75 pro anglický text. Například blogový příspěvek o 2 000 slovech má přibližně 2 667 tokenů. Zpracování jako vstup na náklady GPT-4o (2 667 / 1 000 000) x 2,50 $ = 0,0067 $.Variable Legend
▾
| Symbol | Jméno | Jednotka | Popis |
|---|---|---|---|
| T | Počet tokenů | tokens | Počet tokenů vyrobených tokenizerem pro daný textový vstup, což je přesná jednotka používaná pro fakturaci všemi hlavními poskytovateli LLM API. |
| W | Počet slov | words | Počet slov ve vstupním textu, který lze převést na přibližný počet tokenů pomocí poměru tokenů na slovo specifického pro daný jazyk. |
| C | Počet postav | characters | Celkový počet znaků včetně mezer a interpunkce, který lze vydělit čtyřmi pro přibližný počet anglických tokenů. |
| P | Cena za milion tokenů | USD per 1M tokens | Účtovací sazba pro vybraný model a typ tokenu (vstup nebo výstup), která se liší mezi poskytovateli a mezi vstupními a výstupními tokeny. |
| L | Jazykový multiplikátor | ratio | Faktor měřítka, který upravuje odhady anglického tokenu pro jiné jazyky, v rozsahu od 1,0 pro angličtinu do 2,0 až 3,0 pro japonštinu a korejštinu. |
| N | Počet žádostí | requests | Počet požadavků API na překročení nákladů projektu, který se používá pro měsíční nebo roční odhad nákladů z počtu tokenů na žádost. |
How to Token Cost Calculator
▾
- 1Zadejte text přímo vložením do kalkulačky nebo zadejte počet slov, počet znaků nebo počet stránek pro odhad. Přímý textový vstup poskytuje nejpřesnější počet tokenů spuštěním skutečného tokenizačního algoritmu. Pro odhady používá kalkulačka standardní poměr přibližně 1,33 tokenu na anglické slovo (nebo 1 token na 4 znaky). Neanglický text používá násobitele specifické pro daný jazyk.
- 2Vyberte tokenizér, který chcete použít pro počítání. OpenAI cl100k_base se používá pro GPT-4o, GPT-4o-mini a většinu současných modelů OpenAI. Tokenizer o200k_base se používá pro novější modely. Společnosti Anthropic a Google používají vlastní tokenizéry. Rozdíl mezi tokenizéry obvykle vytváří 5 až 15 procent odchylky v počtu tokenů pro anglický text a až 30 procent pro nelatinkové skripty.
- 3Prohlédněte si rozpis počtu tokenů s celkovým počtem tokenů, poměrem tokenů na slovo a poměrem tokenů na znak pro váš konkrétní text. Tento poměr vám pomůže kalibrovat budoucí odhady, když nemáte k dispozici přesný text k měření. Většina anglického textu produkuje 1,2 až 1,4 tokenů na slovo, ale technický obsah se specializovanou terminologií, kódem nebo URL může produkovat 1,5 až 2,0 tokenů na slovo kvůli tomu, jak BPE zpracovává neobvyklé sekvence znaků.
- 4Vyberte model a cenovou úroveň pro výpočet nákladů. Kalkulačka zobrazuje cenu vašeho textu jako vstupní tokeny, výstupní tokeny nebo obojí pro každý hlavní model. Tento pohled vedle sebe okamžitě odhalí cenové důsledky výběru modelu. Například 10 000 tokenů jako vstup stojí 0,025 USD na GPT-4o, ale pouze 0,0015 USD na GPT-4o-mini, což je 16násobný rozdíl.
- 5K výpočtu nákladů pro běžné typy dokladů použijte režim odhadu dávky. Kalkulačka obsahuje předvolby pro typické velikosti dokumentů: e-mail (150 až 300 tokenů), chatová zpráva (50 až 150 tokenů), příspěvek na blogu (1 500 až 3 000 tokenů), právní smlouva (10 000 až 50 000 tokenů) a kapitola knihy (5 000 až 15 000 tokenů). Tato přednastavení pomáhají netechnickým zainteresovaným subjektům porozumět nákladům z hlediska známých typů dokumentů.
- 6Prozkoumejte tabulku multiplikátorů jazyků, která ukazuje, jak se počty tokenů liší v různých jazycích. Japonský text obvykle používá 2 až 3krát více tokenů na slovo než anglický. Číňané používají 1,5 až 2krát více. Arabština a hindština používají 1,3 až 1,8krát více. Tyto multiplikátory jsou zásadní pro rozpočtování vícejazyčných aplikací, kde mohou být náklady výrazně vyšší, než naznačují odhady pouze v angličtině.
- 7Exportujte výpočet jako odhad nákladů, který lze sdílet s finančními týmy nebo zahrnout do návrhů projektů. Export zahrnuje počty tokenů, náklady na žádost a měsíční projekce v různých objemech, což poskytuje data potřebná pro schválení rozpočtu a porovnání dodavatelů.
Worked Examples
▾
Systémová výzva o 350 slovech se tokenizuje na 467 tokenů (1,33 tokenů na slovo). Odesílá se s každým voláním API, stojí to 0,0012 $ za požadavek. Při 100 000 měsíčních žádostech stojí samotná výzva systému 117 USD měsíčně, díky čemuž okamžitá optimalizace představuje výrazné snížení nákladů.
Blogový příspěvek o 1 500 slovech vygeneruje přibližně 2 000 výstupních tokenů. Při výstupní ceně GPT-4o 10 USD za milion stojí vytvoření každého článku 0,02 USD. Včetně vstupní výzvy 500 tokenů (0,00125 $), celkové náklady na článek jsou přibližně 0,021 $.
Stejný sémantický obsah v japonštině používá přibližně dvakrát tolik tokenů než angličtina kvůli tomu, jak tokenizace BPE zpracovává japonské znaky. Tento násobitel 2x platí pro všechny náklady založené na tokenech, díky čemuž jsou vícejazyčné aplikace pro jazyky CJK výrazně dražší.
25stránková právní smlouva obsahuje přibližně 12 500 slov nebo 16 875 tokenů. Analýza pomocí Claude Sonnet 4 stojí 0,051 $ vstupních tokenů na analýzu. To se pohodlně vejde do kontextového okna 200 000 s prostorem pro podrobnou systémovou výzvu a vícenásobné analýzy.
Real-World Applications
▾
Produktoví manažeři používají kalkulačku tokenů k odhadu nákladů na funkce před zahájením vývoje. PM plánující funkci sumarizace dokumentů zjišťuje, že typické zákaznické dokumenty mají 5 000 tokenů a souhrny 500 tokenů. Při ceně GPT-4o-mini stojí každý souhrn 0,001 $. S očekávanými 50 000 měsíčními souhrny stojí funkce 50 $ měsíčně na výdajích na API, což je v přijatelném rozsahu pro funkci předplatného 10 $ měsíčně, která slouží 5 000 uživatelům.
Finanční týmy používají projekce tokenových nákladů pro čtvrtletní plánování rozpočtu. Finanční analytik ve společnosti SaaS používá kalkulačku k modelování tří scénářů: konzervativní (100 000 volání API měsíčně), očekávaný (250 000) a vysoce růstový (500 000). Při 800 vstupních tokenech a 300 výstupních tokenech na volání na GPT-4o jsou předpokládané měsíční náklady 500 USD, 1 250 USD a 2 500 USD. Toto rozpětí je zahrnuto ve finanční prognóze s 30procentní rezervou.
Vývojáři používají kalkulačku tokenů k optimalizaci výzev pro nákladovou efektivitu. Inženýr zjistí, že jejich systémovou výzvu s 800 tokeny lze snížit na 350 tokenů bez snížení kvality. Při 200 000 měsíčních voláních API na GPT-4o to ušetří 90 milionů vstupních tokenů měsíčně, což snižuje náklady z 500 USD na 225 USD měsíčně pouze za vstupní tokeny, což představuje roční úsporu 3 300 USD díky jediné rychlé optimalizaci.
Lokalizační týmy používají odhady jazykových multiplikátorů k rozpočtu vícejazyčných funkcí umělé inteligence. Tým plánující nasazení chatbota v angličtině, japonštině, čínštině a španělštině odhaduje, že náklady na token pro japonskou verzi budou 2x angličtina, čínština 1,7x a španělština 1,15x. U funkce, která v angličtině stojí 500 USD měsíčně, bude nasazení ve čtyřech jazycích stát přibližně 2 925 USD měsíčně, nikoli 2 000 USD, jak by naivní 4x výpočet naznačoval.
Special Cases
▾
Při tokenizaci zdrojového kódu závisí účinnost tokenu do značné míry na programovacím jazyce a stylu kódování.
Kód Pythonu s popisnými názvy proměnných jako 'calculate_monthly_revenue' se může rozdělit na 4 až 5 tokenů, zatímco stejná proměnná v minifikovaném balíčku JavaScriptu používá méně tokenů kvůli kratším názvům. JSON a XML jsou zvláště tokenově neefektivní kvůli opakovaným strukturálním znakům (složené závorky, závorky, uvozovky, lomené závorky). Objekt JSON o velikosti 1 kB může spotřebovat 300 až 400 tokenů, zatímco stejná data v kompaktním formátu mohou používat 200 tokenů.
Pro výzvy, které obsahují obsah kódovaný base64 (obrázky, soubory, binární data),
U výzev, které obsahují obsah kódovaný base64 (obrázky, soubory, binární data), je spotřeba tokenu extrémně vysoká, protože znaky base64 netvoří běžné sekvence tokenů BPE. Řetězec base64 o velikosti 1 kB může spotřebovat 1 300 až 1 500 tokenů. Vyhněte se odesílání obsahu kódovaného base64 jako textových tokenů, kdykoli je to možné. Používejte nativní funkce nahrávání souborů nebo režimy zadávání obrázků, které zvládnou kódování efektivněji.
Při počítání tokenů pro chatovací aplikace s historií konverzací pamatujte
Při počítání tokenů pro chatovací aplikace s historií konverzace nezapomeňte, že speciální tokeny (značky rolí zpráv, oddělovače tahů) přinášejí malou, ale nezanedbatelnou režii. Každá zpráva v konverzaci přidá přibližně 4 až 6 speciálních tokenů pro značky rolí a oddělovače. V konverzaci o 20 kolech to přidá 80 až 120 tokenů, které nejsou viditelné ve vašem textu, ale počítají se pro fakturaci. Při cenách GPT-4o tato režie stojí přibližně 0,0003 USD na konverzaci, což je pro jednotlivé konverzace triviální, ale sčítá se v měřítku.
Efektivita tokenu podle jazyka (BPE Tokenizer)
▾
| Jazyk | Tokeny na slovo | Tokeny na 1 000 znaků | Multiplikátor vs angličtina | Příklad (100 slov) |
|---|---|---|---|---|
| angličtina | 1.3 | 250 | 1,0x | ~130 žetonů |
| španělština | 1.5 | 270 | 1,15x | ~150 žetonů |
| francouzština | 1.5 | 275 | 1,15x | ~150 žetonů |
| Němec | 1.8 | 280 | 1,38x | ~180 žetonů |
| arabština | 2.0 | 350 | 1,54x | ~200 tokenů |
| hindština | 2.2 | 400 | 1,69x | ~220 žetonů |
| čínština | 2.0 | 500 | 1,54x | ~200 tokenů |
| japonský | 2.5 | 550 | 1,92x | ~250 žetonů |
| korejština | 2.3 | 500 | 1,77x | ~230 žetonů |
Frequently Asked Questions
▾
Co je to vlastně token?
Token je kus textu, který jazykový model zpracovává jako jeden celek. Tokeny jsou vytvářeny algoritmem tokenizeru (obvykle kódování bajtů), který rozděluje text na běžné sekvence znaků. Běžná anglická slova jako 'hello' nebo 'the' jsou jednotlivé tokeny. Delší slova jako „mimořádný“ lze rozdělit na „extra“ a „obyčejný“ (2 tokeny). Mezera se často připojuje k následujícímu slovu jako jeden token. Čísla, interpunkce a speciální znaky spotřebovávají tokeny.
Jak přesné je pravidlo 4 znaků na token?
Aproximace 4 znaků na token je pro typickou anglickou prózu přesná v rozmezí 10 až 20 procent. Funguje dobře pro blogové příspěvky, e-maily a konverzační text. Je méně přesný pro kód (3 znaky na token kvůli znakům syntaxe), technické psaní se specializovanými termíny (3,5 znaku na token) a neanglický text (2 až 3 znaky na token pro CJK). Pro nákladově kritické aplikace vždy používejte přesný tokenizer spíše než odhady založené na znacích.
Produkují různé modely různé počty tokenů pro stejný text?
Ano. OpenAI GPT-4o používá tokenizer cl100k_base, zatímco starší modely GPT-3.5 používaly jiné kódování. Anthropic Claude a Google Gemini používají své vlastní tokenizéry. Stejný anglický text o 1 000 slovech by mohl produkovat 1 320 tokenů na GPT-4o, 1 350 na Claude a 1 280 na Gemini. Rozdíly jsou obvykle 5 až 15 procent pro angličtinu, ale mohou dosáhnout 30 procent pro nelatinková písma. Pro přesná srovnání nákladů, tokenizujte svůj text s každým poskytovatelem.
Proč japonský text stojí více tokenů?
BPE tokenizéry jsou trénovány na velkých textových korpusech, které jsou převážně anglické. Anglická slova a běžné fráze jsou efektivně reprezentovány jako jednotlivé tokeny. Japonské znaky (hiragana, katakana, kanji) jsou v trénovacích datech méně časté, proto je tokenizér rozdělí na více částí. Jeden znak kanji, který představuje celý koncept slova, může spotřebovat 2 až 3 žetony. To je důvod, proč japonský text používá 2 až 3krát více tokenů na sémantickou jednotku než anglický.
Jak mohu programově počítat tokeny?
Pro modely OpenAI použijte knihovnu tiktoken Python: import tiktoken, pak enc = tiktoken.get_encoding('cl100k_base') a token_count = len(enc.encode(váš_text)). Pro Anthropic použijte antropickou knihovnu Python, která obsahuje metodu počítání tokenů. Pro obecné odhady vydělte počet znaků 4 nebo vynásobte počet slov 1,33. Knihovna tiktokenů přidává zanedbatelnou režii a dokáže zpracovat miliony tokenů za sekundu.
Spotřebovávají obrázky a soubory tokeny?
Při odesílání obrázků do multimodálních modelů, jako je GPT-4o, jsou obrázky převedeny na tokeny na základě rozlišení. Obrázek s nízkým rozlišením stojí 85 tokenů a obrázek s vysokým rozlišením 170 až 1 105 tokenů v závislosti na rozměrech. Stránky PDF odeslané jako obrázky spotřebují 1 000 až 3 000 tokenů na stránku. Zvuk odeslaný do Whisperu je účtován podle délky trvání, nikoli podle tokenů. Soubory odeslané jako text (prostý text, soubory kódu) jsou normálně tokenizovány.
Jaký je maximální limit tokenů, kterého bych se měl obávat?
Každý model má kontextové okno, které omezuje celkový vstup plus výstupní tokeny. GPT-4o podporuje 128 000 tokenů, modely Claude podporují 200 000 tokenů a Gemini 1.5 Pro podporuje až 1 milion tokenů. V praxi většina aplikací používá 1 000 až 10 000 tokenů na požadavek. Překročení kontextového okna způsobí, že rozhraní API vrátí chybu. U dlouhých dokumentů implementujte rozdělování nebo shrnutí, abyste zůstali v mezích.
Common Mistakes to Avoid
▾
- !Za předpokladu, že jeden token se rovná jednomu slovu:
- !Použití anglických poměrů tokenů pro vícejazyčný text:
- !Zapomenutí tohoto kódu a tokenizace strukturovaných dat odlišně:
Pro Tip
Před spuštěním jakékoli funkce založené na LLM vytvořte tabulku rozpočtu tokenů, která dokumentuje přesný počet tokenů ve výzvě vašeho systému, průměrný uživatelský vstup, průměrný výstup modelu a počet měsíčních požadavků. Zabere to 30 minut a zabrání tomu nejčastějšímu překvapení v podobě nákladů: zjištění po spuštění, že vaše skutečná spotřeba tokenu je 3 až 5krát vyšší, než odhadujete na zadní straně ubrousku. Aktualizujte tabulku měsíčně aktuálními naměřenými hodnotami.
Did you know?
Tokenizér BPE (Byte-Pair Encoding) používaný GPT-4o byl trénován na korpusu tak velkém, že jeden znak mezery následovaný běžnými slovy jako „the“, „a“, „je“ jsou jednotlivé tokeny. Tokenový slovník pro cl100k_base obsahuje přesně 100 256 unikátních tokenů. To znamená, že model může reprezentovat 100 256 různých textových vzorů jako jednotlivé jednotky, přičemž nejefektivněji jsou kódována nejběžnější anglická slova a fráze.
Regional Guides
▾
North America▾
Europe▾
Asia-Pacific▾
References
Ratings & comments
Získejte týdenní matematické tipy
Připojte se k 12 000+ odběratelům, kteří každý týden dostávají tipy na kalkulačku.