Компанія OpenAI створила інструмент, що може виявляти студентів, які шахраюють, просячи ChatGPT зробити за них їхні завдання. Але, як повідомляє The Wall Street Journal, компанія обговорює, чи варто його випускати.
У заяві, наданій TechCrunch, представник OpenAI підтвердив, що компанія досліджує метод текстових водяних знаків, описаний у статті The Wall Street Journal.
Також він зазначив, що компанія використовує обережний підхід через складність, пов’язану з цим, і ймовірний вплив на ширшу екосистему поза межами OpenAI.
«Метод текстових водяних знаків, який ми розробляємо, технічно багатообіцяючий. Водночас він має значні ризики, які ми зважуємо, поки досліджуємо альтернативи. Зокрема, сприйнятливість до обходу зловмисниками та потенційний непропорційний вплив на певні групи людей, наприклад неангломовні», — сказав речник.
Цей підхід відрізняється від більшості попередніх спроб виявити текст, створений ШІ, які в основному показали себе неефективними. Навіть сама OpenAI минулого року закрила свій попередній детектор тексту ШI через його низький рівень точності.
За допомогою текстових водяних знаків OpenAI зосереджувалася б виключно на виявленні тексту із ChatGPT, а не з моделей інших компаній. Це можна зробити, вносячи невеликі зміни у те, як ChatGPT вибирає слова. По суті, створюючи невидимий водяний знак у тексті, який пізніше може бути виявлений окремим інструментом.
Після публікації статті у The Wall Street Journal OpenAI також оновила травневу публікацію в блозі про свої дослідження щодо виявлення контенту, створеного ШІ.
В оновленні йдеться, що текстові водяні знаки виявилися дуже точними та навіть ефективними проти локалізованих фальсифікацій, таких як перефразування, але виявилися менш стійкими проти глобальних фальсифікацій. Наприклад, використання систем перекладу, переформулювання за допомогою іншої генеративної моделі або запит моделі вставити спеціальний символ між кожним словом, а потім видалити цей символ.
У результаті OpenAI написала, що цей метод тривіальний для обходу зловмисниками. Оновлення компанії також повторює точку зору представника щодо прав неангломовних людей. Він зазначив, що текстові водяні знаки можуть стигматизувати використання ШІ як корисного інструменту письма для людей, для яких англійська мова не є рідною.
Читайте також на ProIT: OpenAI анонсує SearchGPT — власну пошукову систему на основі ШІ.
Кілька місяців тому Meta випустила Llama 3 LLM, щоб конкурувати з GPT-4.
А ще ProIT розповідав, що таке Claude 3 і чи кращий він ніж ChatGPT.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
