Галюцинації штучного інтелекту — тенденція великих мовних моделей (LLM) давати помилкові, неточні або вигадані відповіді залишаються серйозною проблемою, оскільки використання генеративного ШІ в корпоративному середовищі активно зростає вже другий рік поспіль, йдеться в матеріалі DevOps.
Ця проблема особливо актуальна для розробників, які використовують інструменти ШІ для написання коду, зокрема для генерації назв пакетів, які насправді не існують. Аналітики IDC ще торік писали про так звані галюцинації пакетів та ризики, які вони створюють: зловмисники можуть скористатися такими помилками, щоб інжектити шкідливий код у ланцюжок постачання програмного забезпечення.
«Якщо зловмисники створять пакет із назвою, згенерованою в результаті галюцинації ШІ, і додадуть туди шкідливий код, то програма, ймовірно, завантажить і запустить саме його», — йдеться у звіті аналітиків.
Що таке slopsquatting
Ця загроза знову опинилася в центрі уваги після того, як дослідник із безпеки Сет Ларсон запропонував для неї назву slopsquatting. Дослідження трьох університетів показало, що 20% LLM рекомендують вигадані бібліотеки та пакети.
«Галюцинації разом із навмисним впровадженням шкідливого коду — це реальна загроза», — зазначив Радж Кесарапаллі, директор з управління продуктом у компанії Black Duck.
Термін slopsquatting походить від typosquatting — техніки атак, коли зловмисники створюють домени або пакети з назвою, схожою на справжню, з незначною помилкою в написанні, сподіваючись, що користувачі або розробники припустяться цієї помилки.
Популярні мови програмування й генерація коду
У статті дослідників із Техаського університету в Сан-Антоніо, Університету Оклахоми та Virginia Tech зазначається, що комбінація мов Python і JavaScript, відкритих репозиторіїв і генераторів коду на основі LLM створює нову форму ризику — галюцинації пакетів.
«Ці помилки — результат фактологічних розбіжностей, які виникають під час генерації коду з використанням LLM, — становлять нову форму атаки через плутанину в назвах пакетів і загрожують цілісності ланцюга постачання ПЗ», — пишуть автори.
Майже 20% згенерованих пакетів — вигадані
Дослідники протестували 16 моделей генерації коду, зокрема DeepSeek, Claude від Anthropic, ChatGPT-4 від OpenAI та Mistral. Вони запустили 30 тестів (16 для Python і 14 для JavaScript) із використанням двох наборів запитів. З 756 тисяч зразків коду, майже 20% містили вигадані пакети.
Серед них 43% згенерованих фейкових пакетів повторювались у 10 запитах; 58% — з’являлися більше одного разу. Це свідчить про те, що галюцинації не випадкові, а повторювані, що робить їх більш небезпечними для потенційних атак.
«Це критично, оскільки постійна галюцинація — цінна для зловмисників. Вона підвищує ймовірність того, що ця вразливість буде використана», — йдеться в дослідженні.
Попри загрозу, деякі моделі, зокрема DeepSeek, GPT-4 Turbo та GPT-3.5, змогли виявити свої власні вигадані пакети в понад 75% випадків.
«Це вказує на вбудовану здатність моделей до саморегуляції — важливий фактор для розробки стратегій захисту», — пишуть дослідники.
Дослідники закликають спільноту зосередитися на вивченні галюцинацій при генерації назв пакетів, особливо з огляду на стрімке зростання використання ШІ-інструментів для програмування.
Згідно з дослідженням GitHub, понад 97% розробників принаймні раз використовували інструменти генерації коду з ШІ.
«Більшість розробників не усвідомлюють ризиків, пов’язаних із ШІ-кодом. Вони фокусуються на функціональності, а не на безпеці», — зазначає Кесарапаллі.
Раніше розробники вже користувалися інструментами для перевірки функціоналу, якості та безпеки коду. Проте з появою генеративного ШІ перевірка та валідація стають ще важливішими.
«Компанії мають бути впевненими, що використовують сертифіковані LLM, навчені на надійному коді, і маркувати всі AI-згенеровані фрагменти коду», — наголосив Кесарапаллі.
Також рецензенти мають знати, які частини коду згенеровані ШІ, щоб перевіряти їх більш прискіпливо.
Читайте також на ProIT, із чого почати вивчення коду.
Вас також може зацікавити, як галюцинації ШІ допомагають у розробленні ліків.
Підписуйтеся на ProIT у Telegram, щоб не пропустити жодної публікації!
