二、登上端側(cè)AI新高度：330億參數(shù)大模型輕松搞定

天璣9300集成了全新的第七代APU 790 AI處理器，行業(yè)首款搭載了硬件生成式AI引擎，同時集成性能核心、通用核心，全鏈路針對生成式AI進(jìn)行優(yōu)化，整數(shù)、浮點運算性能都提升了2倍，功耗則降低了45％。

天璣9300目前已經(jīng)成功運行330億參數(shù)的大模型，相比驍龍8 Gen3 100億遙遙領(lǐng)先，而且與vivo深度合作，實現(xiàn)了70億參數(shù)大語言模型端側(cè)落地、130億參數(shù)大語言模型端側(cè)運行。

天璣9300重點解決了端側(cè)AI三大痛點：內(nèi)存限制、生成速度偏慢、大模型應(yīng)用類型受限。

針對手機(jī)內(nèi)存容量限制，天璣9300支持內(nèi)存硬件壓縮技術(shù)NeuroPilot Compression，結(jié)合大語言模型的INT4混合精度量化，將大模型的內(nèi)存占用大幅減少了61％。

比如它還支持了330億參數(shù)大模型，原本需要至少13GB內(nèi)存，因此對于16GB內(nèi)存手機(jī)來說就完全不夠用。

而在聯(lián)發(fā)科的調(diào)教下，只需5GB就夠了，加上Android系統(tǒng)本身占用4GB、APP應(yīng)用?；钚枰?GB，甚至還能富余1GB的自由空間。

針對生成速度問題，天璣9300深度適配Transformer模型，優(yōu)化Softmax＋LayerNorm算子，處理速度提升多達(dá)8倍。

此外，天璣9300支持行業(yè)速度最快的LPDDR5T 9600Mbps內(nèi)存，可提供77GB/s帶寬，保證AI運算無瓶頸。

正是這些設(shè)計，使得天璣9300 70億參數(shù)大模型生成速度達(dá)到了每秒20 Tokens，Stable Diffusion 1.5文生圖速度可以做到1秒之內(nèi)。

針對大模型數(shù)量在端側(cè)受限的問題，天璣9300擁有行業(yè)領(lǐng)先的LoRA(低秩自適應(yīng))融合，并首次搭載生成式AI端側(cè)“技能擴(kuò)充”技術(shù)NeuroPilot Fusioin，為基礎(chǔ)大模型提供更全面的端側(cè)能力，實現(xiàn)多樣化的本地內(nèi)容生成。

以上提及的很多技術(shù)和優(yōu)化，都是聯(lián)發(fā)科NeuroPilot AI開發(fā)平臺的一部分，可以為開發(fā)者提供端側(cè)生成式AI落地的一站式資源，以及諸多案例分享。

目前，聯(lián)發(fā)科端側(cè)生成式AI已有20多個合作伙伴，包括谷歌、Meta、百度、百川、抖音、快手、虎牙、愛奇藝、美圖秀秀等等。

最新評論