У нейромережі Sora з’явився конкурент. Китайський ШІ-інструмент Kling AI після останнього оновлення пропонує функцію ліпсінку. Нейронка дає змогу завантажувати будь-який звук, а ШІ ідеально підлаштує під нього рух губ.
Завдяки ефективній інфраструктурі навчання, екстремальній оптимізації міркувань і масштабованій інфраструктурі велика модель Kling може генерувати відео до 2 хвилин із частотою кадрів 30 кадрів на секунду.
Kling використовує 3D просторово-часовий спільний механізм уваги для генерації відеоконтенту з великомасштабним рухом.
Як згенерувати ліпсінк у Kling AI:
1. Генеруєте відео у Kling.
2. Тиснете Lip Sync.
3. Завантажуєте аудіо.
Все! Генерація відео займає до 2 хвилин.
Що таке Kling AI та як він працює?
Kling AI, розроблений Kuaishou, створює високоякісні відео тривалістю до 2 хвилин із роздільною здатністю 1080p. Він чудово зображує складні рухи та взаємодії між об’єктами.
Kling AI використовує передові технології просторово-часової уваги та дифузійного трансформера для точного моделювання рухів й ефективного створення уявних сцен.
Kling може імітувати фізичні характеристики реального світу та генерувати відео, що відповідають законам фізики. Він ґрунтується на потужних можливостях архітектури Diffusion Transformer і 3D VAE, завдяки чому може генерувати відео з якістю рівня кіно.
Наприклад, Kling може створювати динамічні сцени, такі як поїздка потягом через мінливі пейзажі, сезонні велосипедні прогулянки, приготування їжі та багато іншого.
У чому різниця між Kling AI та Sora від OpenAI у генерації відео?
Хоча обидві нейромережі використовують дифузійні трансформери, Kling AI може створювати більш довгі (до 2 хвилин) та більш високоякісні (1080p) відео порівняно з обмеженням Sora в 1 хвилину, що робить Kling сильним конкурентом у технології генерації відео з використанням ШІ.
Kling AI має потенціал революціонізувати створення контенту у Голлівуді й за його межами, пропонуючи високоякісну, реалістичну генерацію відео, яка може змінити спосіб виробництва фільмів і розваг.
Читайте також на ProIT: OpenAI надала художникам доступ до неопублікованих ШІ-інструментів для виставки у Нью-Йорку.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
