亞洲最大的幾家云服務(wù)商正采取哪些措施來滿足日益增長的AI推理需求？Omdia的最新研究深入分析了AI推理運(yùn)營所面臨的不斷演變的挑戰(zhàn)，吞吐量、延遲與支持多樣化AI模型之間的關(guān)鍵權(quán)衡，以及可能的解決方案。該報(bào)告詳細(xì)涵蓋了華為、百度、阿里巴巴、字節(jié)跳動、騰訊、NAVER和SK Telecom Enterprise等公司，考察了這些公司所提供的GPU、AI加速器和經(jīng)過AI優(yōu)化的CPU及其定價(jià)、英偉達(dá)（NVIDIA） GPU的庫存、AI服務(wù)組合，以及自有AI模型和定制芯片項(xiàng)目的現(xiàn)狀。

盡管在2024年至2025年初美國實(shí)施出口管制前，中國企業(yè)大量囤積了英偉達(dá) H800和H20 GPU，但在國內(nèi)云服務(wù)中卻難以見到這些高性能芯片的身影，這表明它們主要被用于頂級云服務(wù)商自身的模型開發(fā)項(xiàng)目。同樣，采用中國本土AI芯片項(xiàng)目的方案也相對較少，例外情況包括百度的本地云產(chǎn)品和華為云的部分服務(wù)，但這類應(yīng)用仍十分有限。中國頂級云服務(wù)商在采用“預(yù)填充與生成分離”等最佳實(shí)踐方面已相當(dāng)成熟，且在基礎(chǔ)AI領(lǐng)域發(fā)表了具有開創(chuàng)性的研究成果；然而，除少數(shù)顯著案例外，這些研究論文中常提到訓(xùn)練過程使用的是西方的GPU。

Omdia首席分析師Alexander Harrowell表示：“中國半導(dǎo)體領(lǐng)域的真正成就體現(xiàn)在CPU而非加速器上。中國基于Arm架構(gòu)的CPU顯然已實(shí)現(xiàn)規(guī)�；a(chǎn)，且通常像亞馬遜云科技（AWS）的Graviton系列那樣針對并行工作負(fù)載進(jìn)行了優(yōu)化。例如，阿里巴巴的倚天710等產(chǎn)品為企業(yè)部署當(dāng)前一代小型AI模型（如阿里巴巴通義千問3）提供了經(jīng)濟(jì)實(shí)惠的解決方案，適用于用戶基數(shù)相對較小、工作負(fù)載多樣性較高的場景�！�

若需使用現(xiàn)代化的GPU，Omdia發(fā)現(xiàn)最具競爭力的方案是SK Telecom與Lambda Labs合作打造的“GPU即服務(wù)”產(chǎn)品。Omdia注意到，許多中國企業(yè)熱衷于將工作負(fù)載遷移至防火墻之外，以期獲取現(xiàn)代化GPU和潛在的額外訓(xùn)練數(shù)據(jù)。其他重要發(fā)現(xiàn)包括：幾乎所有公司如今都提供“模型即服務(wù)”平臺，支持微調(diào)及其他定制化操作，這已成為企業(yè)獲取AI能力最常見的方式之一。中國超大規(guī)模云服務(wù)商對支持邊緣AI應(yīng)用尤為感興趣。例如，字節(jié)跳動（ByteDance）提供了一套預(yù)整合解決方案，可用于監(jiān)控餐廳廚房并報(bào)告廚師是否佩戴了工作帽。

關(guān)于OMDIA

Omdia隸屬于Informa TechTarget, Inc.（納斯達(dá)克代碼：TTGT），是一家全球領(lǐng)先的技術(shù)研究與咨詢機(jī)構(gòu)。依托對科技市場的深刻洞察、與行業(yè)領(lǐng)導(dǎo)者的深入對話以及龐大數(shù)據(jù)資源，Omdia幫助客戶洞察趨勢、把握機(jī)遇，搶占市場先機(jī)。從研發(fā)到投資回報(bào)，我們識別最具潛力的機(jī)遇，推動科技產(chǎn)業(yè)持續(xù)發(fā)展。