Anthropic запустила новий API для пакетної обробки повідомлень, що дозволяє бізнесу обробляти великі обсяги даних за половину вартості стандартних API-викликів, йдеться в матеріалі Venture Beat.
Нова пропозиція дає змогу обробляти до 10 тисяч запитів асинхронно протягом 24 годин. Це є значним кроком до того, щоб зробити передові моделі штучного інтелекту більш доступними й економічно вигідними для підприємств, які працюють із великими наборами даних.
Економія на масштабах в AI: пакетна обробка знижує витрати
API для пакетної обробки пропонує знижку 50% на обробку як вхідних, так і вихідних токенів порівняно з обробкою в реальному часі. Це дає змогу Anthropic більш агресивно конкурувати з іншими постачальниками AI, такими як OpenAI, які раніше також впровадили подібну функцію.
Вказаний крок свідчить про значні зміни у ціновій стратегії галузі AI. Запропонувавши знижки на обробку в обсягах, Anthropic фактично створює економію на масштабах для ШІ-обчислень.
Це може призвести до зростання впровадження ШІ серед невеликих підприємств, які раніше не могли дозволити собі масштабні ШІ-застосунки.
Наслідки цієї моделі ціноутворення виходять за межі простої економії. Вона може радикально змінити підхід підприємств до аналізу даних, дозволяючи частіше проводити великомасштабні аналізи, які раніше вважалися занадто дорогими або ресурсомісткими.
Порівняння цін на моделі
Вартість введення на 1 мільйон токенів: GPT-4o: $1,25, Claude 3.5 Sonnet: $1,50.
Вартість виведення на 1 мільйон токенів: GPT-4o: $5,00, Claude 3.5 Sonnet: $7,50.
Обсяг контексту: GPT-4o: 128K, Claude 3.5 Sonnet: 200K.
Від реального часу до «правильного» часу: переосмислення потреб в обробці ШІ
Anthropic зробила API пакетної обробки доступним для моделей Claude 3.5 Sonnet, Claude 3 Opus та Claude 3 Haiku через API компанії. Підтримка Claude у Vertex AI від Google Cloud очікується незабаром, а клієнти, які використовують Claude через Amazon Bedrock, вже мають доступ до пакетної обробки.
Впровадження функцій пакетної обробки свідчить про зріле розуміння потреб бізнесу. Хоча обробка в реальному часі була основним фокусом розвитку AI, багато бізнес-застосунків не потребують миттєвих результатів. Запропонувавши більш повільний, але дешевший варіант, Anthropic визнає, що для багатьох випадків обробка у правильний час важливіша, ніж у реальному часі.
Цей зсув може призвести до більш виваженого підходу до впровадження ШІ в бізнесі, де компанії почнуть стратегічно балансувати між обробкою в реальному часі та пакетною обробкою, оптимізуючи витрати й швидкість.
Подвійна природа пакетної обробки
Незважаючи на очевидні переваги, перехід до пакетної обробки піднімає важливі питання щодо майбутнього розвитку ШІ. Хоча це робить наявні моделі більш доступними, існує ризик, що це відверне ресурси й увагу від розвитку можливостей AI для обробки в реальному часі.
Співвідношення між вартістю і швидкістю — це не нова проблема в технологіях, але в галузі AI це має особливе значення. Коли компанії звикнуть до нижчих витрат на пакетну обробку, на ринку може бути менше тиску на підвищення ефективності та зниження вартості обробки в реальному часі.
Крім того, асинхронний характер пакетної обробки може обмежити інновації в застосунках, які покладаються на миттєві відповіді AI, таких як ухвалення рішень у реальному часі або інтерактивні AI-асистенти.
Знайти правильний баланс між розвитком можливостей для пакетної та реальної обробки буде вирішальним для здорового розвитку екосистеми AI.
Новий API пакетної обробки від Anthropic представляє як можливість, так і виклик. Він відкриває нові можливості для підприємств використовувати ШІ у великих масштабах, потенційно збільшуючи доступ до передових можливостей ШІ.
Водночас це підкреслює необхідність обдуманого підходу до розвитку ШІ, який враховує не лише економію, але й довгострокові інновації та різноманітні випадки використання.
Успіх цієї нової пропозиції, ймовірно, залежатиме від того, наскільки добре підприємства зможуть інтегрувати пакетну обробку у свої робочі процеси та наскільки ефективно вони зможуть збалансувати компроміси між вартістю, швидкістю і обчислювальними потужностями у своїх ШІ-стратегіях.
Читайте також на ProIT: Anthropic стверджує, що Claude 3.5 Sonnet – найкраща у своєму класі. Чи це так?
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
