Яндекс анонсировал релиз новой модели AliceAI, доступной на платформе Hugging Face. Специалисты обсуждают, сколько стоит инференс данной модели, и какие аппаратные ресурсы для этого необходимы. По предварительным данным, для полноценной работы требуется четыре графических процессора A100, хотя возможно также использование меньшего количества с учетом дополнительных настроек.
В обсуждениях коллеги отметили, что для запуска модели может потребоваться CPU-offload, что добавляет сложности в её настройку. Некоторые эксперты выражают сомнения относительно необходимости компромиссов, таких как квантизация, которые могут повлиять на качество работы модели. Тем не менее, использование мощных графических процессоров может обеспечить высокую производительность.
Значимость релиза AliceAI заключается в том, что он может стать важным шагом в развитии технологий генеративного искусственного интеллекта в России. Успешное внедрение модели может привлечь внимание к отечественным разработкам и способствовать дальнейшим инвестициям в эту область, что в свою очередь повлияет на конкурентоспособность на международной арене.