Нове дослідження показує, що мовні моделі (LLM), які стоять за чат-ботами штучного інтелекту, «мислять» англійською, навіть коли їм ставлять запитання іншими мовами, повідомляє Read Write.
Дослідники зі Швейцарського федерального технологічного інституту в Лозанні розглянули три версії цих моделей чат-ботів ШІ: відкрили їх, щоб побачити різні «шари», які складають внутрішню обробку цих LLM.
«Ми відкрили ці моделі та подивилися на кожен із шарів. Кожен із цих шарів щось робить із вхідними даними, оригінальною підказкою, яку ви йому надаєте. Ми хотіли дізнатися, чи можемо побачити, чи дійсно внутрішні шари обробляються англійською», – розповів дослідник Веніамін Веселовський.
Моделі з відкритим кодом, які були обрані для дослідження, отримували підказки трьох типів чотирма мовами: французькою, німецькою, російською та китайською.
Перший тип підказки просив LLM повторити надане йому слово. Другий просив, щоб LLM перекладав з одного слова, введеного не англійською мовою на інше. Третій та останній запити просили LLM заповнити прогалину в одне слово у реченні.
Потім дослідникам вдалося відстежити всі різні зміни та процеси, через які довелося пройти LLM, щоб отримати відповіді на ці підказки. Вони виявили, що всі ці LLM і всі ці багаторівневі процеси мають одну спільну рису: усі вони проходять через те, що дослідники назвали «англійським підпростором».
По суті, це означає, що замість прямого перекладу із французької на німецьку чат-бот виконує обхідний шлях і перекладає з французької на англійську, а потім на німецьку або навпаки. За словами Веселовського, це важливо, оскільки свідчить про те, що ці LLM використовують англійську мову для розуміння певних понять.
Алія Бхатія з Центру демократії та технологій у Вашингтоні пояснила, чому ці результати можуть викликати занепокоєння.
«Доступно більше високоякісних даних англійською та деякими мовами ООН для навчання моделей, ніж більшістю інших мов. У результаті розробники ШІ навчають свої моделі переважно на англомовних даних. Але використання англійської мови як посередника, за допомогою якого можна навчити модель аналізувати мову, несе ризики обмеження інших регіонів із лінгвістичними та культурними відмінностями», – зазначила вона.
Читайте також на ProIT: ШІ справді забирає робочі місця. Але не завжди й не у всіх. Яким професіям загрожує ШІ?
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
