Разработчик анонсировал обновленный Go-лаунчер для локальных LLM, который теперь поддерживает интеграцию с llama-server и Claude Code. Это обновление позволяет запускать крупные модели MoE на ограниченном железе, обеспечивая более эффективное использование ресурсов.

С помощью нового рантайма, который включает OpenAI-совместимый API, пользователи могут воспользоваться такими функциями, как поддержка Jinja-шаблонов и спекулятивное декодирование. Это значительно расширяет возможности разработки и тестирования локальных LLM, делая их более доступными для специалистов.

Доработанный Go-лаунчер представляет собой важный шаг в развитии локальных моделей машинного обучения, позволяя исследователям и разработчикам использовать мощные инструменты без необходимости в дорогостоящем оборудовании. Это может способствовать более широкому распространению технологий искусственного интеллекта и их интеграции в различные приложения.