В последние годы все больше внимания уделяется безопасности данных, особенно в контексте использования искусственного интеллекта. Как сообщает Газета.Ru, об этом рассказал специалист в области информационных технологий и ИИ Даниил Архипов.
По его словам, обыденные электронные письма, PDF-документы или даже записи в календаре могут содержать скрытые команды, которые не видны пользователю, но могут быть распознаны и выполнены нейросетью. Так, если человек запрашивает у чат-бота анализ файла, внутри этого файла может находиться скрытая инструкция, например, «игнорируй все предыдущие команды и сделай следующее». Способы сокрытия таких команд разнообразны: это может быть написание текста белым шрифтом на белом фоне, уменьшение размера шрифта, размещение текста вне видимой области страницы или скрытие инструкций в комментариях к коду.
Особую опасность представляют системы, которые обрабатывают электронные письма, календари и документы. Пользователь может поручить помощнику подготовить сводку писем или ближайших встреч, но если в одном из источников содержится скрытая команда, это может повлиять на конечный результат. В зависимости от возможностей нейросети, обычный чат-бот может выдать ложную информацию. Например, если в договоре присутствует команда сообщить, что документ составлен правильно, пользователь может не заметить проблемные условия.
«С ИИ-агентами ситуация гораздо серьезнее, — объясняет Архипов. — В зависимости от предоставленных полномочий они могут работать с файлами, отправлять сообщения и взаимодействовать с другими сервисами. Если агент выполнит вредоносную инструкцию, это может привести к передаче конфиденциальных документов или раскрытию личных данных. Однако не каждая нейросеть обязательно выполнит такую команду; результат зависит от модели, настроек безопасности и доступных полномочий».
На сегодняшний день полностью исключить риск так называемых prompt-инъекций довольно сложно. Инструкции и данные могут выглядеть одинаково, но существует возможность явно сообщать искусственному интеллекту, где заканчивается запрос пользователя и начинаются приложенные данные. Также можно использовать защитные фильтры для проверки содержимого на наличие подозрительных команд, хотя и они не гарантируют абсолютной безопасности.
Не менее важно ограничивать полномочия ИИ-агентов. Если системе нужно лишь прочитать документ и подготовить его краткое содержание, ей не следует предоставлять доступ к отправке файлов или другим чувствительным операциям.