Шокирующая уязвимость в ChatGPT: как ИИ может шокировать мир

[Strаtegium 91]

Недавнее исследование, проведенное учеными из Intel, Университета Бойсе и Университета Иллинойс, показало, что чат-боты, такие как ChatGPT и Gemini, уязвимы к новому типу атак, получившему название «Information Overload». Эта проблема не только угрожает безопасности ИИ-систем, но и ставит под вопрос доверие пользователей к таким технологиям.

 

 

 

 

 

Принцип атаки

Атака «Information Overload» предполагает перегрузку чат-ботов огромным объемом информации, что позволяет обходить встроенные фильтры безопасности. Исследователи разработали специальный инструмент «InfoFlood», который автоматически генерирует избыточные данные, что в свою очередь ставит под угрозу безопасность используемых ИИ-систем.

 

Результаты экспериментов

С помощью сложных и обширных запросов ученые сумели заставить чат-боты выдавать запрещенные данные. В одном из сценариев, при запросе о том, как взломать банкомат с помощью программы-вымогателя, ChatGPT и Gemini процитировали информацию, которая должна быть заблокирована. Специалист по безопасности, доктор Ирина Кузнецова, отметила: «Это подтверждает, что даже самые современные ИИ могут иметь уязвимости, которые могут быть использованы злоумышленниками».

 

Контекст и последствия

Эта уязвимость вызывает серьезные опасения по поводу безопасности ИИ-систем, особенно с учетом растущей интеграции ИИ в повседневную жизнь. Разработчикам необходимо уделять больше внимания защите от подобных атак. Например, в 2022 году было зафиксировано 52% увеличения случаев, когда злоумышленники использовали ИИ для создания фишинговых атак, что подчеркивает необходимость более жестких мер безопасности.

 

Недавно Google подверглась критике за недостаток прозрачности в отчетах о безопасности своих ИИ-моделей, таких как Gemini 2.5 Pro, что ставит под сомнение возможность объективной оценки рисков. Как отметил эксперт по ИТ-безопасности Джейсон Бёрнс: «Прозрачность – это ключ к доверию, и компании должны не только уметь создавать ИИ, но и защищать его от атак».

 

Интересные факты о проекте

• Интересно, что методы, подобные «Information Overload», использовались в других областях, таких как кибернетическая безопасность и обработка данных.
• Чат-боты должны быть перепроектированы с учетом новых угроз, чтобы минимизировать риски использования валидной информации для вреда.
• На данный момент количество пользователей чат-ботов в мире превысило 1 миллиард, и этот показатель продолжает расти.
• По данным исследовательской компании Statista, 60% пользователей сообщили о готовности доверять ИИ-системам при условии соблюдения мер безопасности.

В заключение, новая техника «Information Overload» серьезно подрывает безопасность чат-ботов и требует срочных действий по защите данных и улучшению ИИ-систем. Каждая неосторожность может привести к серьезным последствиям, и мир цифровых технологий должен быть готов к этим вызовам.