Компанія Uptime Industries презентувала Lemony — автономний пристрій формату «AI-in-a-box», який забезпечує генеративний штучний інтелект корпоративного рівня без підключення до хмари. Як повідомляє Computer World, рішення орієнтоване на компанії, які працюють із конфіденційними даними, потребують відповідності вимогам регуляторів і хочуть уникнути ризиків, повʼязаних із передачею інформації у хмарні сервіси.
Lemony — це готовий до використання модульний пристрій, який підключається напряму до комп’ютера або локальної мережі та не потребує доступу до інтернету. Один вузол підтримує до 5 користувачів, а кілька таких вузлів можна об’єднати в кластер з автоматичним перемиканням у разі збою. Наприклад, чотиривузловий кластер обслуговує до 50 користувачів і має шість попередньо завантажених моделей генеративного ШІ.
Технічні особливості
• У пристрій інтегровано нейромережевий процесор (NPU), AI-прискорювач і CPU.
• Серед підтримуваних LLM — Granite від IBM, Llama-3.1, Llama-3.2 і Mistral.
• JetBrains інтегрує у Lemony свої моделі й інструменти для інтелектуальної розробки ПЗ.
• Передбачено підтримку RAG (retrieval-augmented generation) та створення локальних AI-асистентів для аналізу документів.
Передача даних до пристрою можлива у три способи, але зберігається лише knowledge graph. За словами співзасновника й CEO Uptime Саші Бюрле, дані завантажуються, аналізуються, індексуються — і видаляються. Також передбачено підключення через API або конектори до корпоративних систем.
Оновлення пристроїв відбувається щокварталу за допомогою зашифрованих USB-ключів, привʼязаних до конкретного вузла. Під час оновлення перевіряється дійсність підписки — інакше пристрій блокується, а дані залишаються зашифрованими.
Бізнес-модель і реакція ринку
• Доступна двотижнева безкоштовна пробна версія.
• Вартість підписки — від $499 на місяць за один вузол (до 5 користувачів), з річною оплатою.
• До підписки входить: пристрій, ПЗ, застосунки для Windows і macOS, техпідтримка.
• Наразі понад 300 клієнтів у Швейцарії, Німеччині, Великій Британії та США.
Оцінки аналітиків
Аналітики позитивно оцінюють концепцію:
Метт Кімбол, Moor Insights & Strategy: «Uptime відповідає на реальну потребу регульованих галузей. Lemony — це фактично апаратна реалізація generative AI».
Чіраг Декате, Gartner: «On-prem AI — недостатньо охоплений сегмент. Lemony може бути актуальним для середніх компаній або держсектору, де важливі вартість і відповідність нормам».
Ваят Мейгем, Northwest AI Consulting: «Це розумний компроміс: не надто дорогий, не надто складний. Дає змогу малим командам запускати LLM локально, залишаючись у правовому полі».
Втім, експерти попереджають про обмеження: попри формальну простоту, керування моделями, їх оновлення, вирішення збоїв і налаштування потребують певної експертизи. Без гнучкості щодо моделей користувачі можуть розглядати систему як закриту. Також викликає запитання постачання апаратного забезпечення, якщо Uptime покладається на стандартні плати.
Читайте на ProIT: Cloud WAN: корпоративний інтернет із доступом до мережі Google.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
