Red Hat 已签署收购 Neural Magic 的最终协议，Neural Magic 为提供能加速生成式 AI 推论工作负载的软体与演算法领导业者，其在推论效能工程的专业技术及对开源的承诺与 Red Hat 的愿景一致，致力於在跨混合云环境中的任何一处皆能实现高效能 AI 工作负载，并满足客户特殊的应用情境和资料。

尽管生成式 AI 的前景在当今科技领域中已占据主导地位，然支撑其系统的大型语言模型（LLM）规模仍持续扩大。因此，为建置具成本效益且可靠的 LLM 服务，企业需要大量的运算资源、能源，以及专业的营运技能。多数企业因上述挑战而难以享受到客制化、部署就绪且更具安全性的 AI 所带来的优势。Red Hat 期??能藉由 vLLM 的开源创新赋能更多企业更易於使用生成式 AI，从而应对其面临的挑战。