ElevenLabs анонсувала запуск платформи Conversational AI, яка допомагає створювати кастомізованих інтерактивних голосових агентів. На сторінці продукту компанія зазначила:
«Додайте голос до своїх агентів на вебсайті, мобільному пристрої або в телефонії всього за кілька хвилин».
Як повідомляє Read Write, цей інструмент можна використовувати як агента підтримки, тренера чи асистента. Однією з основних функцій є здатність системи обробляти чергування реплік у реальному часі, що робить її корисною для корпоративного середовища.
Можливості платформи
Conversational AI підтримує 31 мову, що дає змогу агентам спілкуватися з клієнтами їхньою рідною мовою.
Основні сценарії використання включають:
- Клієнтську підтримку. Інструмент здатний вирішувати широкий спектр запитів клієнтів цілодобово, скорочуючи час очікування та покращуючи задоволеність клієнтів. Агенти можуть допомагати з поверненням товарів, усувати проблеми та навіть пропонувати додаткові послуги, зберігаючи послідовний бренд-войс.
- Інтерактивні агенти. Система може створювати агентів для різних завдань: від автоматичних дзвінків і планування до інтерактивних персонажів для ігор, викладачів і продавців.
- Інтеграцію з LLM. Інструмент підтримує роботу з моделями Claude, GPT, Gemini, а також кастомними LLM із серверною інтеграцією.
Технічні переваги:
- Інтеграція із Twilio для опрацювання дзвінків.
- Виклик серверних і клієнтських інструментів для більшої гнучкості.
- Динамічні підказки для персоналізованих розмов.
Йозеф Марко, головний розробник проєкту, поділився на платформі X складнощами, які виникли під час розробки:
«Ми створили Conversational AI, оскільки наші клієнти хотіли використовувати наш API для створення інтерактивних агентів, але зіткнулися зі складністю інтеграції функцій Speech-to-Text, LLM і Text-to-Speech».
Марко пояснив, що одним із найбільших викликів стала обробка перебивань:
«Щоб вирішити це, ми створили модель реального часу, яка прогнозує, чи людина закінчила говорити. Якщо наш агент починає говорити, а співрозмовник перебиває, ми маємо це акуратно опрацювати».
Читайте також на нашому сайті про топ-5 найзручніших нейронок для роботи з голосом.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
