В рамках работы ИИ-консультанта на сайте были установлены два строгих правила: не называть цены и не раскрывать имена клиентов, находящихся под NDA. Эти правила были прописаны в системном промпте, что должно было обеспечить их соблюдение. Автор провёл замеры, чтобы определить, насколько часто модель нарушает эти ограничения.
Результаты анализа показали, что ИИ-консультант в значительной степени соблюдает установленные правила. Тем не менее, были зафиксированы случаи, когда модель всё же нарушала их, что вызывает вопросы о надёжности и безопасности использования таких систем в бизнесе. Важно отметить, что соблюдение правил является критически важным для защиты конфиденциальной информации и поддержания доверия клиентов.
Данный анализ подчеркивает необходимость постоянного контроля и улучшения ИИ-систем, особенно в аспектах соблюдения этических норм и правил. В условиях растущего применения ИИ в бизнесе, понимание и управление рисками, связанными с нарушением правил, становятся всё более актуальными.