Юрий Чернышов, руководитель исследовательского центра UDV Group, специально для TAdviser дал комментарий о том, что изменилось с развитием нейросетей.
- Каким образом в России произошла трансформация технологий и подходов к информационной безопасности в условиях стремительного развития искусственного интеллекта?
- Появление новых технологий всегда почти сразу порождало новые угрозы информационной безопасности. Злоумышленники справедливо полагают, что для новых технологий не стабилизировалось качество, процессы, это приводит к появлению новых уязвимостей, поскольку защита и регуляция обладают некоторой инертностью в реагировании на появление новых сценариев атак. Достаточно долго эти проблемы можно было нейтрализовать, используя существующие методики и инструменты защиты. Например, можно было защищать систему машинного обучения как информационную систему, с помощью DLP, IRP, SIEM, SOAR, WAF, EDR и других классических СЗИ. Особенность того, что происходит сейчас, состоит в том, что классических подходов не хватает, слишком сильно поменялся ландшафт угроз, появились совершенно новые типы атак, расширился инструментарий. Например, jailbreake промт-атаку на LLM невозможно обнаружить с помощью WAF. Поэтому приходится разрабатывать новые методы и инструменты: LLM Firewall (защитный экран для LLM), LLM guardrails (механизмы контроля и защиты), специальный контроль артефактов: наборы данных, эмбеддинги, результаты работы модели.
Комментариев пока нет.