中华网 china.com

军事

专家观点

  • 中国禁止美光芯片?中方雷霆出击以其人之道还治其身,外媒炸锅了
  • 中俄好消息不断,一架俄罗斯专机抵达中国,7成俄民众对华有好感
  • 果然乱套了,英国大罢工将瘫痪80%的救护车,上万台手术被搁置
  • 局势正在失控,梅德韦杰夫再次警告:已扩大生产强大的杀 伤性武器

DeepSeek让英伟达H20都被疯抢,但AI推理爆发不只靠囤卡 需求激增推动变革(3)

2025-03-19 16:37:51 来源:量子位

从技术角度出发,并不是所有AI厂商都具备处理高并发、高流量、高弹性的互联网服务经验。比如前不久DeepSeek突然公布成本利润率理论值可达545%,引发诸多争议。PPIO姚欣表示,真实情况下,所有互联网用户请求都有波峰、波谷,一天的用户请求变化是一条曲线。如果在最高峰时变成直线,意味着用户请求进不来。春节期间DeepSeek的服务崩溃,无法满足用户和企业需求。换言之,DeepSeek的服务和技术架构需要“弹性”算力来解决这些问题。PPIO派欧云在春节期间第一时间接入DeepSeek,利用分布式推理和大规模算力调度,实现了更大弹性的负载均衡,保证客户服务质量、稳定性。

在基础设施建设上,AI Infra厂商有先天优势。一部分玩家通过自建IDC提供多种算力服务,代表如阿里云;另一部分玩家选择通过分布式网络提供算力服务,代表如PPIO派欧云。二者比较,前者能提供的综合性服务更多,后者在性价比和资源调度上更有优势。PPIO的分布式架构打破了传统集中式架构的瓶颈,不仅为企业大幅降低了运维压力,还将系统的处理效率提升到了一个全新的高度。通过PPIO提供的AI推理平台,企业可以直接调用API服务,不再需要自行运维,成本直接减少了40%。速度方面,得益于PPIO遍布全球的分布式云服务网络,无论用户身处何地,都能找到近距离的算力节点,获得20毫秒级的低延迟体验。PPIO在整个春节期间ToB方向的DeepSeek服务可用性做到了99.9%,无TPM限制。现阶段,PPIO平台的日均tokens消耗量已经突破了1300亿,与“六小龙”日均tokens消耗量不相上下。

此外,在算法层面,PPIO还提出KV Cache稀疏化压缩算法、Hydra Sampling投机采样技术以及端到端FP8推理三大核心技术,进一步突破显存、算力和带宽对大模型推理性能的限制。PPIO能够迅速适配和优化各种开源大模型,例如已为百川智能提供大规模AI推理服务。姚欣表示,只有当AI Infra公司能提供足够高性能和低成本的基础建设,让大量AI应用的收入足以覆盖所有的推理成本,才会迎来AI应用落地的大爆发,用户也会迎来AI应用的免费时代。随着越来越多产业伙伴加入,更庞大的需求和市场还在酝酿之中。趋势转变之后,又是一个新的开始。DeepSeek让英伟达H20都被疯抢,但AI推理爆发不只靠囤卡 需求激增推动变革!(责任编辑卢其龙 CM0882)

(责任编辑卢其龙 CM0882)
关闭

精选推荐

下一页