В ходе работы над улучшением поиска по памяти был достигнут прирост Recall@5 на 17%. Это стало возможным благодаря исправлению одной строки в промпте, что позволило значительно улучшить качество ответов модели. Тест Макнемара показал, что прирост качества ответов оказался статистически неотличим от шума, с p = 0.79.
Месяц работы над различными параметрами и настройками не привел к ожидаемым результатам, пока не была скорректирована формулировка в промпте. После внесения изменений удалось получить прирост в 16 процентных пунктов за короткий вечер. Это подчеркивает важность точной формулировки запросов для достижения оптимальных результатов в работе с моделями.
Данная ситуация иллюстрирует, как небольшие изменения в подходах к формулировке запросов могут существенно повлиять на эффективность поиска и качество ответов. Это открывает новые возможности для дальнейших исследований и оптимизаций в области искусственного интеллекта и обработки естественного языка.