Професійна соціальна мережа, що належить Microsoft і налічує понад 1 мільярд користувацьких акаунтів, зіткнулася з тією ж основною проблемою, що й інші організації незалежно від розміру: подолання розриву між технічними й нетехнічними користувачами бізнесу. У випадку LinkedIn, використання генеративного ШІ орієнтоване як на кінцевих користувачів, так і на внутрішніх співробітників, йдеться в матеріалі VentureBeat.
Деякі організації могли б обмежитись спільним використанням запитів у вигляді електронних таблиць чи через Slack, але LinkedIn обрав дещо новаторський підхід. Компанія створила так звану спільну майстерню prompt engineering, яка дає можливість технічним і нетехнічним користувачам працювати разом. Система використовує цікаве поєднання технологій, зокрема великі мовні моделі (LLMs), LangChain і Jupyter Notebooks.
LinkedIn уже використав цей підхід для покращення свого продукту Sales Navigator із додаванням ШІ-функцій, зокрема за допомогою інструменту AccountIQ — засобу, який скоротив час дослідження компанії із 2 годин до 5 хвилин.
Як і у більшості організацій, початковий шлях LinkedIn у використанні генеративного ШІ починався зі спроб з’ясувати, що працює.
Організаційні виклики впровадження генеративного ШІ
LinkedIn не є новачком у світі машинного навчання та ШІ. До появи ChatGPT компанія вже розробила набір інструментів для вимірювання справедливості ШІ-моделей і окреслила свою стратегію ШІ ще на VB Transform у 2022 році. Проте генеративний ШІ дещо інший: він доступний ширшому колу користувачів і не потребує виключно участі інженерів. Це революція, яку започаткував ChatGPT. Створення застосунків із генеративним ШІ відрізняється від розробки традиційних програм.
Аджай Пракаш, розробник LinkedIn, пояснив, що до генеративного ШІ інженери зазвичай отримували набір вимог від менеджерів продукту і потім будували продукт. З генеративним ШІ менеджери продукту експериментують, перевіряючи, що можливо і що працює, що значно полегшує доступ для нетехнічних співробітників.
Традиційне prompt engineering часто створює вузькі місця, коли інженери стають «воротарями» для будь-яких змін чи експериментів. Підхід LinkedIn змінює цю динаміку завдяки зручному інтерфейсу на базі налаштованих Jupyter Notebooks, які традиційно використовуються в галузі data science і машинного навчання.
Що містить спільна майстерня prompt engineering LinkedIn
За замовчуванням LinkedIn використовує OpenAI як постачальника LLM, адже LinkedIn є частиною Microsoft, яка розміщує платформу Azure OpenAI.
Лукаш Каролевський, старший менеджер інженерії LinkedIn, пояснив, що використання OpenAI є зручнішим, оскільки його команда має легший доступ у середовищі LinkedIn/Microsoft. Він зазначив, що використання інших моделей вимагало б додаткових процесів безпеки та юридичного контролю, що затримувало б їхню доступність. Команда спочатку надавала пріоритет валідації продукту та ідеї, а не оптимізації для кращої моделі.
LLM є лише однією частиною системи, яка також містить:
- Jupyter Notebooks для створення інтерфейсу.
- LangChain для оркестрації prompt’ів.
- Trino для виконання запитів до data lake під час тестування.
- Розгортання на базі контейнерів для полегшення доступу.
- Налаштовані UI-елементи для нетехнічних користувачів.
Як працює спільна майстерня prompt engineering LinkedIn
Jupyter Notebooks широко використовуються в ML-спільноті вже майже десятиліття для визначення моделей і даних за допомогою інтерактивного інтерфейсу Python.
Каролевський пояснив, що LinkedIn попередньо запрограмував Jupyter Notebooks, щоб зробити їх більш доступними для нетехнічних користувачів. Ноутбуки містять елементи UI, такі як текстові поля і кнопки, що дають змогу будь-якому користувачу легко почати роботу, без необхідності налаштовувати складне середовище розробки. Основна мета — дати можливість як технічним, так і нетехнічним користувачам експериментувати з різними prompt’ами й ідеями використання генеративного ШІ.
Щоб це працювало, команда також інтегрувала доступ до даних із внутрішнього data lake LinkedIn, що дозволяє безпечно використовувати дані в prompt'ax та експериментах.
LangChain використовується як бібліотека для оркестрації застосунків генеративного ШІ. Фреймворк допомагає легко з’єднувати різні prompt’и й етапи, такі як отримання даних з зовнішніх джерел, фільтрація й синтез остаточного результату.
Хоча LinkedIn зараз не планує створювати повністю автономні агентні застосунки, Каролевський зазначив, що бачить у LangChain основу для можливого подальшого розвитку в цьому напрямі.
Підхід LinkedIn також передбачає багаторівневі механізми оцінювання:
- Перевірка релевантності на основі вбудовування (embedding-based relevance-checking) для валідації вихідних даних.
- Автоматизоване виявлення шкоди через заздалегідь створені оцінювачі.
- Оцінка за допомогою LLM, де більші моделі використовуються для оцінки менших.
- Інтегрований процес перевірки експертами.
Ефективність цього підходу демонструється завдяки функції AccountIQ LinkedIn, яка скоротила час дослідження компанії із 2 годин до 5 хвилин. Це покращення не лише означало швидший процес, а й свідчило про фундаментальну зміну у способі розроблення і вдосконалення ШІ-функцій із прямим залученням експертів галузі.
Хоча LinkedIn не планує відкривати свій генеративний AI-плейграунд із prompt engineering через глибоку інтеграцію з внутрішніми системами, підхід надає уроки для інших підприємств, які прагнуть масштабувати розробку ШІ. Проте, повна реалізація може не бути доступною, основні компоненти — LLM, LangChain та Jupyter Notebooks — доступні для інших організацій, щоб побудувати подібну систему.
Читайте також на ProIT: Нові акценти LinkedIn. Від мережі для пошуку роботи до платформи для обміну знаннями.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
