要做“端側(cè)英偉達(dá)”！高通力推NPU，主打低能耗和高帶寬

激石Pepperstone(http://dsgkdz.com/)報(bào)道：

2024年智能終端大戰(zhàn)開(kāi)啟，“手機(jī)芯片霸主”高通開(kāi)始進(jìn)擊。

3月4日，在高通公司年度股東大會(huì)上，高通CEO Cristiano Amon直言，當(dāng)前高通正引領(lǐng)一場(chǎng)AI手機(jī)的變革并積極進(jìn)軍AI PC領(lǐng)域，與英特爾、AMD和英偉達(dá)等競(jìng)爭(zhēng)對(duì)手展開(kāi)角逐，將在未來(lái)幾個(gè)月內(nèi)推出驍龍X Elite芯片，該處理器在AI工作負(fù)載方面超越了英特爾等競(jìng)爭(zhēng)對(duì)手的產(chǎn)品，Amon表示：

“驍龍X Elite是我們首款搭載定制高通Oryon CPU的芯片，它在人工智能性能和電池壽命方面樹(shù)立了新的行業(yè)標(biāo)桿。我們期待它為設(shè)備上的生成式人工智能和Copilot體驗(yàn)帶來(lái)革命性的變革?！?/p>

高通認(rèn)為，雖然目前AI處理重心主要集中在云端，包括ChatGPT、微軟Copilots和谷歌Gemini，但由于云端推理成本較高、能耗較大、可靠性及時(shí)延、用戶隱私及數(shù)據(jù)安全等問(wèn)題，端側(cè)AI部署成為AI實(shí)現(xiàn)規(guī)?；瘮U(kuò)展及應(yīng)用落地的關(guān)鍵。

與此同時(shí)，端側(cè)AI部署通過(guò)本地運(yùn)行“個(gè)人大模型”，可以為用戶創(chuàng)建個(gè)性化的本地知識(shí)庫(kù)，實(shí)現(xiàn)“千人千面”個(gè)性化體驗(yàn)，未來(lái)端側(cè)AI將成為人機(jī)交互的首選方式。

媒體分析指出，全球消費(fèi)電子市場(chǎng)也可以依靠端側(cè)AI的落地走出低谷，IDC預(yù)測(cè)，2024年將成為AI PC元年，在2027年，AI PC的滲透率有望達(dá)到85%，波士頓咨詢預(yù)測(cè)2028年全球AIPC滲透率達(dá)到80%。

在高通看來(lái)，隨著AI端側(cè)的飛速發(fā)展，產(chǎn)業(yè)需要在性能、功耗、效率、可編程性和面積之間進(jìn)行權(quán)衡取舍，而NPU則是專門為低功耗加速AI推理而設(shè)計(jì)的一種處理，也是高通在芯片設(shè)計(jì)領(lǐng)域的強(qiáng)項(xiàng)之一：

通過(guò)采用一個(gè)全新的供電系統(tǒng)，使NPU能夠根據(jù)工作負(fù)載適配功率，從而兼顧高性能與低能耗此技術(shù)升級(jí)還引入了微切片推理，進(jìn)一步提升了加速效果，為用戶提供更出色的性能和更長(zhǎng)的續(xù)航時(shí)間

Amon認(rèn)為，高通在無(wú)線連接和通信技術(shù)上的領(lǐng)先地位也經(jīng)常會(huì)被市場(chǎng)忽略，具備能夠提供高帶寬、低延遲、高能效和高精度的連接能力。驍龍X80可提升數(shù)據(jù)傳輸速度、覆蓋范圍和效能，同時(shí)降低延遲。連接毫米波網(wǎng)絡(luò)時(shí)，功耗可降低10%，定位精度提升30%。

為何NPU是端側(cè)AI落地的關(guān)鍵？

近日，高通正式發(fā)布了《通過(guò)NPU和異構(gòu)計(jì)算開(kāi)啟終端側(cè)生成式AI》技術(shù)白皮書中文版，揭示了NPU的三大殺手锏。

報(bào)告指出，NPU（Neural Processing Unit）是基于DSA領(lǐng)域?qū)Ｓ眉軜?gòu)技術(shù)的處理器，相比CPU、GPU等通用處理器，從硬件架構(gòu)上更適合于神經(jīng)網(wǎng)絡(luò)運(yùn)算，可專門用于給AI做硬件加速。

Al工作負(fù)載主要包括由標(biāo)量、向量和張量數(shù)學(xué)組成的神經(jīng)網(wǎng)絡(luò)層計(jì)算以及非線性激活函數(shù)，優(yōu)秀的NPU設(shè)計(jì)能夠?yàn)樘幚磉@些AI工作負(fù)載做出正確的設(shè)計(jì)選擇，與AI行業(yè)方向保持高度一致。

高通指出，他們的NPU差異化優(yōu)勢(shì)在于系統(tǒng)級(jí)解決方案、定制設(shè)計(jì)和快速創(chuàng)新。通過(guò)定制設(shè)計(jì)NPU并控制指令集架構(gòu)(ISA)，高通能夠快速進(jìn)行設(shè)計(jì)演進(jìn)和擴(kuò)展，以解決瓶頸問(wèn)題并優(yōu)化性能。

具體來(lái)說(shuō)，高通的系統(tǒng)級(jí)解決方案會(huì)考量每個(gè)處理器的架構(gòu)、SoC系統(tǒng)架構(gòu)和軟件基礎(chǔ)設(shè)施，從而優(yōu)化整體AI解決方案。更進(jìn)一步來(lái)看，通過(guò)定制設(shè)計(jì)NPU并控制指令集架構(gòu)，高通可以快速進(jìn)行設(shè)計(jì)演進(jìn)和擴(kuò)展，以解決瓶頸問(wèn)題并優(yōu)化性能。

有了NPU還不夠，做好異構(gòu)計(jì)算同樣重要。異構(gòu)計(jì)算可以發(fā)揮每種處理器的優(yōu)勢(shì)，比如NPU擅長(zhǎng)標(biāo)量、向量和張量數(shù)學(xué)運(yùn)算，更適用于核心AI工作負(fù)載。

高通AI引擎就是高通的異構(gòu)計(jì)算架構(gòu)，目前各類驍龍移動(dòng)芯片中幾乎都搭載了高通AI引擎。

高通要成為“端側(cè)AI的英偉達(dá)”？

有媒體分析指出，英偉達(dá)在芯片行業(yè)的主導(dǎo)地位還未輻射到端側(cè)AI市場(chǎng)，對(duì)于端側(cè)AI市場(chǎng)的競(jìng)爭(zhēng)日趨白熱化。

高通CEO Cristiano Amon指出，高通的處理器已大規(guī)模用于全球安卓智能手機(jī)中：

“我們正在引領(lǐng)一場(chǎng)變革，讓生成式AI賦能全球智能手機(jī)用戶。憑借我們最新的驍龍移動(dòng)平臺(tái)，我們將繼續(xù)鞏固在高端安卓設(shè)備市場(chǎng)的領(lǐng)導(dǎo)地位，并提供顯著增強(qiáng)的人工智能處理性能?！?/p>

據(jù)悉，驍龍8 Gen 3作為公司最新的力作，已被三星等領(lǐng)先智能手機(jī)制造商采用，并在其最新的Galaxy S24系列智能手機(jī)中發(fā)揮關(guān)鍵作用。該處理器不僅提升了手機(jī)的整體性能，還針對(duì)生成式人工智能功能進(jìn)行了優(yōu)化，如三星的Generative Edit工具，使用戶能夠以前所未有的方式編輯照片，輕松擦除或移動(dòng)拍攝對(duì)象。

Amon認(rèn)為，市場(chǎng)往往忽視了高通在通信領(lǐng)域的深厚底蘊(yùn)和領(lǐng)導(dǎo)地位。端側(cè)AI將對(duì)數(shù)據(jù)和帶寬提出更高的需求，而高通在調(diào)制解調(diào)器和無(wú)線技術(shù)方面擁有領(lǐng)先優(yōu)勢(shì)常被忽視。

對(duì)于端側(cè)AI來(lái)說(shuō)，高帶寬連接意味著更低的延遲、更大的可用性和更好的覆蓋，高帶寬連接可以支持邊緣設(shè)備在執(zhí)行機(jī)器學(xué)習(xí)任務(wù)時(shí)獲得更快的響應(yīng)速度，提高數(shù)據(jù)傳輸效率，并確保連接的穩(wěn)定性和可靠性。

高通近日發(fā)布的最新的旗艦級(jí)5G調(diào)制解調(diào)器 ——驍龍X80，這款處理器配備張量加速器 (tensor accelerator)，可提升數(shù)據(jù)傳輸速度、覆蓋范圍和效能，同時(shí)降低延遲。連接毫米波網(wǎng)絡(luò)時(shí)，功耗可降低 10%，定位精度提升 30%。

此外，在MWC2024 上，高通公司宣布推出全新的高通AI Hub，為開(kāi)發(fā)者打造獲取開(kāi)發(fā)資源的中心，從而基于驍龍或高通平臺(tái)打造AI應(yīng)用。

高通技術(shù)公司高級(jí)副總裁兼技術(shù)規(guī)劃和邊緣解決方案業(yè)務(wù)總經(jīng)理馬德嘉表示：“隨著面向智能手機(jī)的第三代驍龍 8 和面向 PC 的驍龍 X Elite 的推出，高通開(kāi)啟了終端側(cè) AI 的規(guī)?；逃谩，F(xiàn)在，借助高通 AI Hub，高通將賦能開(kāi)發(fā)者充分發(fā)揮這些前沿技術(shù)的潛力，打造具有吸引力的 AI 賦能應(yīng)用。”

Shrout Research的分析師Ryan?Shrout表示，AI PC的熱潮將在2025年到來(lái)，提前布局的高通在這場(chǎng)爭(zhēng)奪戰(zhàn)中頗具優(yōu)勢(shì)，盡管高通目前在AI PC市場(chǎng)的份額微乎其微，但其驍龍 X Elite平臺(tái)提供了遠(yuǎn)超英特爾或AMD芯片4倍以上的AI性能，第一批搭載X Elite芯片的筆記本將于2024年6月上市。

2024年，英特爾、英偉達(dá)、AMD、ARM以及高通間對(duì)端側(cè)AI的市場(chǎng)份額爭(zhēng)奪戰(zhàn)已不可阻擋。