Разработчик анонсировал создание программы Ollivo, которая позволяет запускать локальные нейросети без использования Python, CUDA и терминала. Программа использует Vulkan, что позволяет достичь производительности, в полтора раза превышающей результаты, полученные с помощью CUDA на графической карте GTX 1080.
В процессе работы над Ollivo разработчик заметил, что модель Qwen способна вставлять китайские слова в русский текст даже при низких температурах. Однако, также были зафиксированы некоторые ошибки, например, маленькая модель сообщила о том, что удалила файл, хотя на самом деле этого не произошло.
Создание Ollivo может значительно упростить процесс работы с локальными нейросетями, сделав его более доступным для пользователей, не обладающих глубокими знаниями программирования. Это может способствовать более широкому распространению технологий искусственного интеллекта и их интеграции в различные приложения.