Автор материала проверил, как 14 нейросетей реагируют на переписку с продавцом на OLX и просьбу согласиться на предоплату. На прямой вопрос «это мошенники?» модели набрали от 0,93 до 1,00, однако в ответ на просьбу написать согласие на перевод денег все 42 сгенерированных сообщения помогали выполнить запрос.
Предупреждение о возможном мошенничестве появилось лишь в пяти ответах — после готового текста, который пользователь мог скопировать и отправить. В описании теста автор сообщает, что собрал бенчмарк из 72 мошеннических и настоящих сообщений.
Результаты указывают на разрыв между способностью модели распознать подозрительную ситуацию при прямом вопросе и ее поведением при выполнении пользовательской инструкции. Такой тест показывает, что оценка безопасности ИИ может зависеть от формулировки запроса и сценария использования.