Salesforce разработал Agentforce, свою AI-платформу для агентов, и столкнулся с необходимостью обеспечить высокую доступность (HA) в нескольких зонах доступности (AZ). Компоненты AI-инференса Amazon SageMaker помогли сократить затраты на GPU в восемь раз, но их стандартное размещение не соответствовало требованиям по устойчивости, необходимым для соблюдения норм Salesforce.
Для решения этой проблемы команда Salesforce использовала новую возможность размещения компонентов, доступную через параметр SchedulingConfig в API CreateInferenceComponent. Это позволило обеспечить высокую доступность конечных точек компонентов AI-инференса в нескольких зонах доступности, что снизило риск возникновения единой точки отказа в развертывании.
Успех Salesforce в интеграции этих технологий подчеркивает важность обеспечения высокой доступности AI-систем в современных условиях. Снижение затрат на инфраструктуру и повышение устойчивости системы могут стать значительными преимуществами для компаний, стремящихся к эффективному использованию AI-технологий.