Maximizando o ROI da IA: a inferência no local com a Dell Technologies pode ser 75% mais econômica DO QUE na nuvem pública

o Enterprise Strategy Group da TechTarget modelou e comparou os custos esperados para inferir modelos de linguagem de grande escala (LLMs) na infraestrutura local da Dell Technologies, em vez de usar a infraestrutura em nuvem pública nativa como serviço (IaaS) ou o serviço de modelos LLM do OpenAI GPT-4 Turbo por meio de uma API. Nós constatamos que a Dell Technologies pode oferecer inferência de LLMs no local com até 75% mais economia que a nuvem pública nativa e até 88% mais economia que com serviços de API.