Фахівці з безпеки з компанії Radware повідомили, що знайшли спосіб змусити ChatGPT непомітно витягати конфіденційні дані з Gmail-скриньок користувачів. Вразливість уже усунула OpenAI, однак випадок демонструє ризики використання агентних ШІ, повідомляє The Verge.
Атака отримала назву Shadow Leak і ґрунтувалася на особливості роботи ШІ-агентів, які виконують дії від імені користувача без постійного контролю. Після отримання доступу до електронної пошти, календарів чи документів вони можуть самостійно переглядати посилання й обробляти інформацію.
Radware використала методику prompt injection — приховані інструкції, які змушують агента працювати на зловмисника. Такі інструкції можуть бути непомітними для людини (наприклад, білий текст на білому тлі), але їх зчитує ШІ.
У цьому випадку подвійним агентом став інструмент Deep Research від OpenAI, інтегрований у ChatGPT. Дослідники відправили електронного листа з прихованим кодом у Gmail, до якого мав доступ агент. Коли користувач запускав Deep Research, інструкції активувалися і змушували ШІ шукати HR-листи та персональні дані, а потім відправляти їх зловмисникам. Водночас жертва нічого не помічала.
Особливість Shadow Leak у тому, що дані витікали безпосередньо з хмарної інфраструктури OpenAI, роблячи атаку невидимою для стандартних систем захисту.
У Radware наголосили, що подібні методи можуть бути застосовані й до інших інтеграцій Deep Research, таких як Outlook, GitHub, Google Drive чи Dropbox. Це створює ризик витоку контрактів, протоколів зустрічей і клієнтських даних.
OpenAI закрила вразливість у червні після повідомлення дослідників.
Читайте також на ProIT, хто і як користується ChatGPT: OpenAI показала портрет аудиторії та зміни у звичках.