Компанія Meta підтвердила, що протягом наступного місяця випустить свою нову велику мовну модель із відкритим кодом (LLM). Також протягом року буде випущено кілька різних моделей із різними можливостями та різною універсальністю, повідомляє Read Write.
Раніше ЗМІ стверджували, що зменшена версія Llama 3 буде випущена вже наступного тижня, а повна модель із відкритим вихідним кодом планується до запуску в липні й зможе конкурувати із Claude 3 і GPT-4.
Ян ЛеКун, головний науковець Meta зі штучного інтелекту, вважає, що штучний інтелект має обмеження. Науковець прогнозує, що після ШІ буде JEPA (Joint Embedding Predictive Architecture). Це інший підхід як до моделей навчання, так і до отримання результатів, який Meta використовує для створення більш точного інтелектуального інтелекту у галузі генерації зображень.
На відміну від генеративних підходів, які намагаються заповнити кожен відсутній піксель, JEPA більш гнучка і відкидає непередбачувану інформацію, що призводить до покращеного навчання й ефективності вибірки.
«Майбутнє ШІ – це JEPA. Це не генеративний ШІ», – йдеться у повідомленні.
Що таке Llama 3?
Llama 3 буде доступна у розмірах від дуже маленьких, розроблених для конкуренції з такими моделями, як Claude Haiku або Gemini Nano, до більших версій, повністю обладнаних для відповідей і міркувань, подібних до GPT-4 або Claude Opus.
Подробиць про новинку майже немає, однак очікується, що вона буде, як і попередні версії, з відкритим кодом, а також мультимодальною, розуміючи як візуальні, так і текстові введення.
Вважається, що велика мовна модель буде в різних версіях і розмірах, причому найменша матиме 7 мільярдів параметрів, а найбільша – близько 140 мільярдів. Однак це все ще не дотягує до понад трильйона параметрів, які використовувалися для навчання GPT-4.
Чи можна бути впевненими, що ШІ справді діє неупереджено та не порушує права людини? Читайте на ProIT матеріал на цю тему під назвою: Упереджений ШІ, або Як технології призводять до зростання випадків дискримінації.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
