LLM Embedding Cost Calculator

Společnosti elektronického obchodu vkládají miliony popisů produktů, aby posílily funkce sémantického vyhledávání, které chápou dotazy v přirozeném jazyce, jako je „teplá nepromokavá bunda na turistiku“, spíše než vyžadují přesné shody klíčových slov. Velký prodejce s 5 miliony produktů v průměru 200 tokenů by každý utratil pouhých 20 USD za použití text-embedding-3-small k vložení celého svého katalogu, což by umožnilo vyhledávání, které výrazně zvyšuje míru konverze a průměrnou hodnotu objednávky.

Firmy zabývající se právními technologiemi vkládají databáze judikatury obsahující stovky tisíc soudních stanovisek, aby umožnily právníkům najít relevantní precedenty prostřednictvím dotazů v přirozeném jazyce. Typický právní korpus 500 000 dokumentů po 800 tokenech, každý s 20procentním překrytím, stojí přibližně 9,60 USD s textem-embedding-3-small. Tato jednorázová investice nahrazuje manuální právní průzkum, který dříve trval hodiny na případ, a přináší enormní návratnost investice.

Platformy zákaznické podpory začleňují celou svou znalostní základnu článků nápovědy, často kladených dotazů a dřívějších řešení vstupenek, aby automaticky navrhovaly relevantní odpovědi, když zákazníci zadávají nové vstupenky. Společnost se 100 000 články podpory je může vložit za méně než 1 $ pomocí text-embedding-3-small a poté použít kosinusovou podobnost k porovnání příchozích otázek se stávajícími řešeními. To obvykle odkloní 40 až 60 procent lístků, než se dostanou k lidskému agentovi.

Společnosti zabývající se zdravotnickými technologiemi začleňují lékařskou literaturu a klinické pokyny k vytváření systémů generování rozšířených vyhledávání, které pomáhají lékařům rychle najít odpovědi na klinické otázky založené na důkazech. Vložení databáze 2 milionů výzkumných abstraktů po 400 tokenech stojí přibližně 16 USD. Vektorové reprezentace umožňují sémantické párování, které rozumí lékařským synonymům a souvisejícím pojmům způsobem, který tradiční vyhledávání klíčových slov nedokáže.

Který model vestavby nabízí nejlepší poměr ceny a kvality?

Pro většinu případů produkčního použití poskytuje OpenAI text-embedding-3-small nejlepší rovnováhu mezi kvalitou a cenou za 0,02 $ za milion tokenů. Dosahuje skóre v rozmezí 2 až 5 procentních bodů vkládání textu-3-velké ve standardních benchmarkech vyhledávání, jako je MTEB, přičemž stojí o 85 procent méně. Velký model s 0,13 dolary za milion tokenů stojí za prémii pouze při práci s vysoce specializovanými doménami, kde záleží na každém procentuálním bodu přesnosti vyhledávání, jako je právní nebo lékařské vyhledávání.

Kolik tokenů obsahuje typický dokument?

Standardní anglický dokument o 500 slovech obsahuje přibližně 625 až 700 tokenů pomocí tokenizace BPE. U aplikací RAG jsou dokumenty obvykle rozděleny do 256 až 512 segmentů tokenů s překrytím 50 až 128 tokenů. Jeden token je zhruba čtyři anglické znaky nebo 0,75 slova. Nelatinkové skripty, jako je čínština, japonština a korejština, mohou používat 1,5 až 2krát více tokenů na slovo kvůli tomu, jak kódování bajtů zpracovává jejich znakové sady.

Mám použít malý nebo velký model vkládání?

Začněte s text-embedding-3-small pro vývoj a počáteční produkční nasazení. Změřte své metriky kvality vyhledávání, jako je vyvolání v k a střední reciproční hodnocení na vašich konkrétních datech. Pokud jsou tyto metriky pod vaším prahem kvality, upgradujte na text-embedding-3-velký a porovnejte. V praxi méně než 20 procent týmů shledává, že zlepšení kvality z velkého modelu ospravedlňuje 6,5krát vyšší náklady.

Jaké jsou náklady na vložení v porovnání s náklady na úložiště vektorové databáze?

Generování vkládání je obvykle jednorázové nebo občasné náklady, zatímco ukládání vektorů je průběžný měsíční náklad. Pro jeden milion vektorů s 1536 dimenzemi je nezpracované úložiště asi 6 GB. V Pinecone to může stát 70 až 100 $ měsíčně v závislosti na konfiguraci modulu. Počáteční náklady na vkládání s textem-embedding-3-small pro stejný milion dokumentů by byly přibližně 10 až 15 USD, což je jednorázový poplatek. Za rok obvykle náklady na ukládání vektorů 5 až 10krát převyšují náklady na generování vložení.

Mohu snížit náklady na vkládání zmenšením rozměrů vektorů?

Ano, text-embedding-3-small a text-embedding-3-large oba podporují redukci rozměrů Matryoshka, což vám umožňuje zkrátit vektory na méně rozměrů bez opětovného vkládání. Snížením z 1536 na 256 rozměrů se sníží náklady na skladování a vyhledávání asi o 83 procent s pouze mírným snížením kvality vyhledávání. Tato technika je zvláště užitečná pro rozsáhlé aplikace, kde náklady na úložiště a latenci vyhledávání převažují nad celkovými náklady na vlastnictví.

Je levnější samostatně hostit modely vkládání s otevřeným zdrojovým kódem?

Samoobslužné modely jako BGE-large nebo E5-large-v2 na cloudovém GPU se stávají nákladově efektivní v měřítku. Jedna instance GPU A10G za přibližně 1 $ za hodinu dokáže vložit zhruba 1 000 až 2 000 dokumentů za sekundu. Při 10 milionech dokumentů stojí self-hosting přibližně 5 až 10 USD za výpočetní čas oproti 2 až 13 USD přes API. Nesete však také náklady na správu infrastruktury, monitorování a škálování. Bod zvratu je obvykle kolem 50 až 100 milionů tokenů za měsíc pro probíhající pracovní zátěž.

Jak často mám znovu vkládat své dokumenty?

Dokumenty znovu vložte pouze tehdy, když se obsah podstatně změní nebo když migrujete na nový model vkládání. Pro aktualizace obsahu implementujte přírůstkové opětovné vkládání, které zpracuje pouze změněné dokumenty, nikoli celý korpus. Většina týmů znovu vloží svůj úplný korpus jednou nebo dvakrát ročně při upgradu na novější verzi modelu. Nastavení kanálu detekce změn, který označí upravené dokumenty pro opětovné vložení, udržuje náklady úměrné vaší skutečné rychlosti odchodu obsahu.