Як і кожна велика технологічна компанія, Meta має свою флагманську генеративну ШІ-модель під назвою Llama.
Llama відрізняється від основних моделей тим, що вона є відкритою. Тобто розробники можуть завантажувати та використовувати її за власним бажанням (з певними обмеженнями).
Це відрізняється від таких моделей, як Claude від Anthropic, GPT-4 від OpenAI (який живить ChatGPT) та Gemini від Google, що доступні лише через API.
Однак, надаючи вибір розробникам, Meta також співпрацює з такими постачальниками, як AWS, Google Cloud і Microsoft Azure, щоб зробити хмарні версії Llama доступними.
Крім того, компанія випустила інструменти, які спрощують налаштування й оптимізацію моделі.
The Crunch підсумовує все, що потрібно знати про Llama: її можливості, версії та де її можна використовувати.
Що таке Llama?
Llama — це ціла родина моделей:
- Llama 8B.
- Llama 70B.
- Llama 405B.
Останні версії — це Llama 3.1 8B, Llama 3.1 70B і Llama 3.1 405B, випущені в липні 2024 року. Вони тренувалися на вебсторінках різними мовами, публічному коді та файлах в інтернеті, а також на синтетичних даних (тобто даних, згенерованих іншими ШІ-моделями).
Llama 3.1 8B і Llama 3.1 70B — це компактні моделі, призначені для роботи на пристроях (від ноутбуків до серверів).
Натомість Llama 3.1 405B — це масштабна модель, яка потребує апаратного забезпечення центру обробки даних (за відсутності деяких модифікацій). Моделі Llama 3.1 8B і Llama 3.1 70B менш потужні, ніж Llama 3.1 405B, але працюють швидше.
Усі моделі Llama мають контекстне вікно у 128 тисяч токенів. Це приблизно 100 тисяч слів або 300 сторінок. Орієнтовно стільки ж, скільки займають романи «Грозовий перевал», «Мандри Гуллівера» та «Гаррі Поттер і в’язень Азкабану».
Що може робити Llama?
Як і інші генеративні ШІ-моделі, Llama може виконувати широкий спектр завдань: програмування, відповіді на базові математичні питання, а також узагальнення документів вісьмома мовами (англійською, німецькою, французькою, італійською, португальською, хінді, іспанською та тайською).
Однак жодна з моделей Llama поки що не може обробляти або генерувати зображення, хоча це може змінитися найближчим часом.
Моделі Llama можуть працювати зі сторонніми застосунками, інструментами та API для виконання завдань. Вони навчені використовувати Brave Search для відповідей на запитання про поточні події, API Wolfram Alpha для математичних і наукових запитів, а також інтерпретатор Python для перевірки коду.
Де можна використовувати Llama?
Якщо ви просто хочете поспілкуватися з Llama, вона живить чат-бот Meta AI у Facebook Messenger, WhatsApp, Instagram, Oculus і Meta.ai.
Розробники можуть завантажувати, використовувати або налаштовувати модель через більшість популярних хмарних платформ.
Meta стверджує, що в неї є понад 25 партнерів, які хостять Llama, включно з NVIDIA, Databricks, Groq, Dell і Snowflake.
Для загальних застосувань Meta рекомендує використовувати менші моделі Llama 8B і Llama 70B, тоді як Llama 405B краще підходить для дистиляції моделей і генерації синтетичних даних.
Які інструменти Meta пропонує для Llama?
Поряд із Llama Meta надає такі інструменти для безпечного використання моделі:
- Llama Guard — модераційна платформа.
- Prompt Guard — захист від атак через введення.
- CyberSecEval — оцінка ризиків у сфері кібербезпеки.
Обмеження Llama
Llama, як і всі генеративні AI-моделі, має певні ризики та обмеження. Наприклад, неясно, чи використовувала Meta захищений авторськими правами контент для навчання Llama, що може викликати юридичні питання.
Нещодавно ми повідомляли, що Meta опублікувала оновлення щодо продуктивності своїх великих мовних моделей Llama, які зараз наближаються до 350 мільйонів завантажень. Це в 10 разів більше, ніж було завантажено за аналогічний період минулого року.
Приблизно 20 мільйонів цих завантажень відбулося лише за останній місяць після випуску компанією Llama 3.1 — останньої версії LLM.
За словами представників Meta, тепер вона може конкурувати з моделями від OpenAI та Anthropic.
Щомісячне використання Llama зросло із січня до липня цього року для деяких із найбільших постачальників хмарних послуг Meta. Зокрема, із травня до липня використання Llama, розміщених у партнерів Meta по хмарних сервісах, зросло за обсягом токенів більш ніж удвічі.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
