Невдовзі після випуску компанією OpenAI моделі reasoning (логічного міркування) під назвою o1 користувачі помітили дивне явище: ця модель іноді починала думати китайською, перською чи ще якоюсь іншою мовою, навіть коли питання було поставлене англійською. Про це повідомляє Tech Crunch.
Отримавши завдання, наприклад: «Скільки літер R у слові “strawberry”?», o1 починала свій «процес мислення», крок за кроком виконувала логічні міркування, а тоді видавала фінальну відповідь англійською. Проте певні проміжні кроки виконувала іншою мовою.
«o1 випадково почала думати китайською десь посередині», — написав один із користувачів на Reddit.
«Чому o1 раптом перейшла на китайську? Жодна частина розмови (5+ повідомлень) не була китайською», — здивувався інший користувач у дописі на X.
OpenAI поки не пояснила, чому виникає це дивне переключення мови — і навіть не визнала такої поведінки. Тож звідки це може братися?
Фахівці з ШІ не мають однозначної відповіді, та все ж пропонують кілька версій.
Деякі користувачі на X, зокрема CEO Hugging Face Клеман Деланґ, зазначили: моделі reasoning (як-от o1) тренуються на наборах даних, що містять багато текстів китайською.
Тед Сяо, дослідник у Google DeepMind, стверджує, що такі компанії, як OpenAI, використовують послуги з маркування даних у Китаї, й оце перемикання на китайську — приклад впливу китайської лінгвістики на логіку.
«Лабораторії на кшталт OpenAI і Anthropic користуються сторонніми сервісами маркування даних рівня PhD для сфер науки, математики та коду. Через доступність фахівців і фінансові чинники багато з цих сервісів базуються у Китаї», — написав Сяо у своєму дописі на X.
У процесі навчання моделі мітки (labels) допомагають штучному інтелекту інтерпретувати дані. Наприклад, для моделі розпізнавання зображень мітки можуть бути виділеними ділянками чи описами об’єктів. Дослідження показують, що упереджені мітки можуть робити упередженими і самі моделі.
Однак скептики звертають увагу, що o1 може переходити не лише на китайську, а й на хінді чи тайську. Вони припускають, що модель могла просто вибирати мову, яку вважала зручнішою для певної задачі (або це могла бути випадкова «галюцинація» ШІ).
«Модель не знає, що таке мова, чи що мови відрізняються одна від одної. Для неї це все просто текст», — пояснив Меттью Гуздіал, дослідник ШІ і доцент Університету Альберти.
Насправді мовні моделі не оперують словами безпосередньо — вони використовують токени. Токени можуть бути повними словами («fantastic»), складами («fan», «tas», «tic») або навіть окремими літерами («f», «a», «n», «t», «a», «s», «t», «i», «c»). Способи розбиття тексту на токени можуть також породжувати певні викривлення.
Тєчжень Ван, інженер-програміст у стартапі Hugging Face, солідарний із Гуздіалом у тому, що мовні «нестиковки» можуть бути зумовлені асоціаціями, сформованими в процесі навчання.
«Завдяки тому, що ми враховуємо всі лінгвістичні нюанси, ми розширюємо кругозір моделі, й вона навчається на повному спектрі людських знань. Наприклад, мені зручніше робити математику китайською, бо кожна цифра — це один склад, що спрощує обчислення. А говорячи про упередження чи тонкі соціальні матерії, я автоматично переходжу на англійську, адже спочатку вивчав ці теми саме цією мовою», — написав Ван у дописі на X.
Така теорія виглядає правдоподібно, адже моделі — це в основі своїй статистичні машини. Вони вчаться, аналізуючи безліч прикладів, і виводять найімовірніший варіант продовження тексту.
Луча Солдаїні, науковець із неприбуткової організації Allen Institute for AI, застерігає, що ми не можемо точно знати, чому o1 робить ті чи інші кроки, адже «внутрішні механізми» цих моделей залишаються непрозорими.
«Такі спостереження в працюючій ШІ-системі неможливо перевірити через те, наскільки моделі залишаються «непрозорими». Це ще один із аргументів, чому прозорість у розробці ШІ-систем є важливою», — зазначив він у коментарі для TechCrunch.
Без офіційних пояснень від OpenAI залишається лише припускати, чому o1 «згадує» французьку, коли думає про пісні, але переходить на китайську, розмірковуючи про синтетичну біологію.
Читайте на ProIT: Підбірка інструментів для написання тексту на основі ШІ, як штучний інтелект допомагає створювати тексти, які платформи є найзручнішими, а також поділимося порадами, як отримати якісний результат від співпраці з ШІ.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
