В исследовании, проведенном с использованием Claude Code, были протестированы девять популярных скиллов, которые сравнивались с нейтральным текстом без советов. Агент выполнял задачи из SWE-bench и Terminal-Bench 450 раз, чтобы оценить эффективность каждого скилла. Результаты показали, что два скилла продемонстрировали лучшие результаты по сравнению с пустышкой, тогда как один скилл оказался менее эффективным.

Несмотря на положительные результаты двух скиллов, ни один из девяти протестированных не показал экономической выгоды по сравнению с выполнением задач без использования скиллов. Это связано с тем, что часть бюджета уходит на поддержание скиллов в контексте, что может не оправдывать затраты. В частности, скилл superpowers, который имеет почти 300 тысяч звёзд, не продемонстрировал значительных преимуществ по сравнению с пустышкой.

Данные результаты подчеркивают важность тщательного выбора и оценки скиллов для оптимизации работы с Claude Code. Исследование может послужить основой для дальнейших разработок и улучшений в области искусственного интеллекта, а также для пользователей, стремящихся повысить эффективность своих решений.