Підрядники, які працюють над вдосконаленням штучного інтелекту Gemini від Google, порівнюють його відповіді із результатами конкурентної моделі Anthropic Claude. Про це стало відомо із внутрішнього листування, з яким ознайомився TechCrunch.
Коли журналісти звернулися за коментарем, у Google не сказали, чи отримали дозвіл на використання Claude у тестуванні Gemini.
Оскільки технологічні компанії змагаються за створення кращих моделей штучного інтелекту, ефективність цих моделей часто оцінюється порівняно із конкурентами. Здебільшого це здійснюють шляхом перевірки їхніх власних моделей за допомогою галузевих тестів замість того, щоб підрядники старанно оцінювали відповіді своїх конкурентів.
Підрядники, які працюють над Gemini й оцінюють точність вихідних даних моделі, мають оцінювати кожну відповідь, яку вони бачать, за кількома критеріями, як-от правдивість і багатослівність. Їм дають до 30 хвилин на запит, щоб визначити, чия відповідь краща (Gemini чи Claude), згідно із документами, які бачив TechCrunch.
Підрядники нещодавно почали помічати посилання на Claude з Anthropic, які з’являються у внутрішній платформі Google, яку вони використовують для порівняння Gemini з іншими неназваними моделями штучного інтелекту. Принаймні один із результатів, наданих підрядникам Gemini, чітко заявив: «Я Claude, створений Anthropic».
Один внутрішній чат показав, що підрядники помітили, що відповіді Claude наголошують на безпеці більше, ніж Gemini. «Налаштування безпеки Claude найсуворіші» серед моделей ШІ, написав один підрядник.
У деяких випадках Claude не відповідатиме на підказки, які вважає небезпечними, як-от граючи роль іншого помічника ШІ. В іншому Claude уникав відповіді на підказку, тоді як відповідь Gemini була позначена як «Велике порушення безпеки».
Комерційні умови обслуговування Anthropic забороняють клієнтам звертатися до Claude для створення конкуруючого продукту чи послуги або навчання моделей-конкурентів ШІ без схвалення Anthropic. Google є великим інвестором Anthropic.
Шира Макнамара, представник Google DeepMind, яка керує Gemini, не відповіла на запитання TechCrunch, чи отримала Google дозвіл Anthropic на доступ до Claude. Представник Anthropic також не коментував інформацію.
Макнамара сказав, що DeepMind порівнює результати моделей для оцінки, але не навчає Gemini на моделях Anthropic.
«Звичайно, згідно зі стандартною галузевою практикою у деяких випадках ми порівнюємо результати моделі як частину нашого процесу оцінювання. Однак будь-яке припущення про те, що ми використовували моделі Anthropic для навчання Gemini, є неточним», — сказав Макнамара.
Минулого тижня TechCrunch повідомив, що підрядники Google, які працюють над продуктами компанії зі штучним інтелектом, тепер змушені оцінювати відповіді Gemini на основі штучного інтелекту у сферах, які не належать до їхньої компетенції.
У внутрішньому листуванні підрядники висловлювали занепокоєння тим, що Gemini може генерувати неточну інформацію щодо таких делікатних тем, як охорона здоров’я.
Раніше ми повідомляли, що Google оновлює Code Assist до Gemini 2.0 із новими функціями.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
