Luma Labs, яка відома тим, що створила генеративну 3D-модель Genie, тепер презентувала ШІ Dream Machine. Як повідомляє Read Write, Dream Machine прямо конкурує із Sora від OpenAI.
Що таке Luma AI?
Luma AI – це платформа, на якій користувачі можуть створювати 3D-моделі за допомогою тексту, зображень або відео. Інструмент допомагає професіоналам у сфері архітектури, дизайну продуктів, створення контенту. Компанія оптимізує процес експорту роботи на різні платформи.
Розроблений компанією Luma Labs Luma AI використовує знання машинного навчання, доповненої реальності та 3D-фотографії, щоб об’єднати ШІ із 3D-моделюванням.
Використовуючи технологію Neural Radiance Fields (NeRF) для перетворення зображень і відео, знятих смартфонами, у високореалістичні 3D-моделі, NeRF змінює звичайні сцени та об’єкти, додаючи до них елемент реалізму.
Співзасновник і генеральний директор Аміт Джайн, який раніше був частиною Apple Vision Pro і команди комп’ютерного бачення Apple, зараз очолює цей напрям у Luma Labs.
Dream Machine є моделлю ШІ, розробленою для створення високоякісних реалістичних відео з тексту та зображень. Наразі він створює точні, послідовні та динамічні візуальні ефекти.
Запуск Dream Machine викликав такий сплеск попиту, що Luma Labs довелося запровадити систему черги після того, як їхні сервери були перевантажені.
Сфера генерації тексту у відео є високонкурентною з такими ключовими гравцями, як Sora від OpenAI та LTX Studio від Lightricks.
Інші стартапи, які роблять щось подібне, – це Pika Labs Inc. і Runway Inc. Обидва зосереджені на створенні відеоконтенту з тексту.
Як використовувати Dream Machine
Щоб якнайкраще використовувати інструмент, користувачі повинні вводити більш детальні підказки, ніж під час використання таких інструментів, як ChatGPT.
Наприклад, опис «корови пасуться і повільно рухаються по ідеальному пасовищу, а камера стежить за ними в плавному русі» може створити дуже реалістичний п’ятисекундний відеоролик, який показує саме цей сценарій.
Для того, щоб користуватися Dream Machine, потрібно зареєструвати обліковий запис, використовуючи свою електронну адресу. Після реєстрації ви маєте право на 30 генерацій на місяць за безкоштовним планом. Дорожчі плани пропонують до 2000 генерацій на місяць за $499.
Зараз послуга користується високим попитом, що може обмежити доступність. Вебсайт Dream Machine містить застереження:
«Генерація займає 120 секунд. Однак через надзвичайно високий попит ваш запит буде поставлено в чергу».
Однією з найбільших переваг Dream Machine є його фреймворк із відкритим вихідним кодом, наданий Luma AI. Luma Labs планує випустити різні API й плагіни, які дозволять інтегрувати із творчими програмними інструментами, включно з Adobe.
Sora від OpenAI доступна лише для обраної тестової аудиторії. Скоріше за все, її основні функції будуть ексклюзивними для платних передплатників, подібно до моделі ChatGPT.
Раніше ми повідомляли, що Sora від OpenAI може створювати абсолютно нові відео з нуля або розширювати наявний відеокліп так, як DALL-E може використовувати «замальовування» для розширення статичного зображення. Модель може навіть створювати кілька відеороликів з узгодженими параметрами чи сюжетами.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
