Прагнучи полегшити розробку генеративних застосунків з ШІ, Meta ділиться своїми першими офіційними дистрибутивами Llama Stack, щоб спростити роботу розробників із великими мовними моделями Llama (LLM) у різних середовищах. Про це Meta оголосила у блозі.
Представлені 25 вересня дистрибутиви Llama Stack містять кілька постачальників API Llama Stack, які добре працюють разом, щоб забезпечити єдину кінцеву точку для розробників.
Llama Stack визначає будівельні блоки для виведення на ринок генеративних програм ШІ. Вони охоплюють життєвий цикл розробки від навчання моделі й тонкого налаштування до оцінки продукту, а також до створення та запуску агентів штучного інтелекту й застосунків генерації з доповненим пошуком (RAG) у виробництві. Репозиторій специфікацій Llama Stack API можна знайти на GitHub.
Також Meta створює постачальників для API Llama Stack. Компанія прагне забезпечити, щоб розробники могли складати рішення штучного інтелекту, використовуючи узгоджені взаємозв’язані частини на різних платформах.
Дистрибутиви Llama Stack призначені для того, щоб дати змогу розробникам працювати з моделями Llama в різних середовищах, включаючи локальне, хмарне, одновузлове та на пристрої.
Стек Llama складається з такого набору API:
- Висновок.
- Безпека.
- Пам’ять.
- Агентна система.
- Оцінка.
- Посттренінг.
- Генерація синтетичних даних.
- Підрахунок винагороди.
Кожен API — це набір кінцевих точок REST. Представлення дистрибутивів Llama Stack відбувається разом із випуском Llama 3.2 від Meta, який включає малі та середні LLM (11B і 90B) і легкі моделі лише з текстом (1B і 3B), які підходять для периферійних і мобільних пристроїв.
Читайте також на ProIT головні анонси Meta Connect 2024: Quest 3S, Meta AI, Ray-Ban Meta.
Раніше ProIT публікував огляд на Orion — перші AR-окуляри від Meta, які Марк Цукерберг презентував на Meta Connect.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
