Хоча відомо, що різні модельні родини використовують різні токенізатори, вплив токенізаторів на фактичні витрати досліджували обмежено. Чи генерують вони однакову кількість токенів для одного й того самого тексту? Якщо ні, наскільки великою є різниця? І які наслідки вона має?
VentureBeat розглянув порівняння двох передових мовних моделей — GPT-4o від OpenAI та Claude 3.5 Sonnet від Anthropic. Попри схожі оголошені ціни за токен, Claude може бути на 20–30% дорожчим під час використання в реальних бізнес-сценаріях.
Вартість API: Claude 3.5 Sonnet проти GPT-4o
Станом на червень 2024 року обидві моделі мали однакову вартість вихідних токенів, а Claude 3.5 Sonnet пропонував на 40% нижчу вартість вхідних токенів.
Однак тести демонструють, що під час запуску ідентичних запитів GPT-4o є економічнішим, аніж Claude.
Причина — у способі оброблення вхідного тексту. Токенізатор Claude розбиває одні й ті самі запити на більшу кількість токенів, аніж GPT. Це призводить до того, що навіть за нижчої ціни за токен Claude загальні витрати можуть бути вищими.
Ця неефективність пов’язана зі структурою токенізатора Anthropic, який частіше кодує текст у дрібніші елементи. Результатом є збільшення кількості токенів, що впливає не лише на вартість, а й на використання контекстного вікна.
Залежність ефективності від типу контенту
Результати порівняння GPT-4o і Claude 3.5 Sonnet у трьох типах контенту:
| Домен | GPT-4o токени | Claude токени | Надлишок Claude |
|---|---|---|---|
| Англійські тексти | 77 | 89 | ~16% |
| Код (Python) | 60 | 78 | ~30% |
| Математика | 114 | 138 | ~21% |
Чим структурованіший або технічніший контент, тим більша різниця. Код і формули Claude розбиває на більше токенів порівняно з GPT. Для природної мови різниця менш суттєва.
Claude декларує контекстне вікно у 200 тисяч токенів, а GPT-4o — 128 тисяч. Але через збільшену кількість токенів Claude фактично доступний обсяг контексту може бути меншим, аніж у GPT.
Технологія токенізації
Моделі GPT використовують Byte Pair Encoding (BPE) — метод, що об’єднує часті пари символів у токени. GPT-4o використовує токенізатор o200k_base, який є відкритим.
Токенізатор Anthropic, навпаки, залишається частково закритим. У грудні 2024 року компанія запустила Token Counting API, але вже у 2025 році припинила його підтримку. За даними Latenode, Claude використовує токенізатор із 65 тисяч унікальних токенів, тоді як GPT має понад 100 тисяч.
Основні висновки
Claude 3.5 Sonnet має нижчу вартість вхідних токенів, але створює їх більше, тому фактична вартість може зрости.
Тип контенту критично важливий. У природній мові різниця мінімальна, але для коду та формул — до 30%.
Контекстне вікно Anthropic може мати меншу ефективну місткість, аніж заявлено.
Прогнозування витрат ускладнене, адже відсутність прозорості у токенізаторі Claude ускладнює попереднє оцінювання вартості.
Моделі Claude можуть бути невигідними для оброблення великих обсягів технічного тексту.
Читайте також на ProIT: Anthropic дослідила цінності Claude.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
