Разработчик анонсировал запуск собственного PII-фильтра, который будет использоваться перед облачными моделями. Он также сообщил о своем решении отказаться от идеи создания селф-хостед LLM, что связано с недавними событиями в области безопасности данных и роста цен на оборудование.
В последние два месяца автор тестировал различные графические процессоры, включая RTX PRO 6000 и RTX 4090, а также купил RTX 5070ti и V100 для проведения бенчмарков. Он отметил, что рост цен на железо и утечки персональных данных к провайдерам LLM стали значительными факторами, повлиявшими на его решение.
Поиск актуальных решений привел разработчика к открытым источникам, которые он успешно настроил. Это решение позволяет ему обеспечить безопасность данных и минимизировать риски утечек, что особенно важно в свете недавних инцидентов в области кибербезопасности.