На этой неделе была описана новая уязвимость в языковой модели Grok, которая позволяет злоумышленникам извлекать личные данные пользователей. Атака использует секретный ввод, предоставленный Microsoft 365 Copilot, чтобы заставить Grok извлекать пароли и другие данные из почтовых ящиков пользователей.
Команда исследователей разработала метод, который использует простую уловку для кражи чатов и личной информации. Несмотря на то, что компания xAI была уведомлена о проблеме еще в июне, на момент публикации статьи модель продолжала поддаваться атаке и выдавать данные.
Эти инциденты подчеркивают серьезные уязвимости, с которыми сталкиваются языковые модели, и необходимость разработки защитных механизмов. Разработчики AI должны создать системы, которые предотвращают выполнение вредоносных действий, чтобы минимизировать риски, связанные с инъекциями команд.