今天分享的是：AIGC系列深度研究報告：AIGC主題：AIGC正在向裝置側下沉，有望引領新一輪硬體創新
報告製作人：國海**）。
報告總數：頁。
特色報告**：人工智慧學院
作為裝置端的大規模模型解決方案，AI PC手機可以幫助解決資料安全和私隱洩露等問題。 對於個人使用者來說，可以通過訪問本地資料形成他們的數字孿生，大模型可以成為使用者的個性化助手; 對於企業使用者，可以通過公司內網訪問企業資料庫，實現智慧型協同辦公。 雲端的一般模型不具備服務某個領域的能力，需要先訪問資料，然後才具備專業能力，這意味著企業必須將關鍵資產——資料上傳到雲端，才能獲得行業模型，而一旦訓練好的模型被全行業共享， 這意味著在一定程度上消除了企業的競爭壁壘，從而產生了企業在資料牆中培養特殊模型的需求，AI電腦手機應運而生。
在大多數應用場景中，使用者對推理的時效性要求很高，由於在雲端推理到將結果傳回端端和邊緣之間的物理距離，不可避免地存在延遲。
在裝置端和邊緣部署大型模型可能會導致市場對公有雲、私有雲和本地資料中心的需求，以及雲、裝置和邊緣的計算能力平衡。 過去，市場對算力的關注多集中在雲服務商和大型模型訓練階段，但雲算力相對有限，難以滿足高峰期所有使用者的推理需求。 通過智慧型終端（如AI、手機等）和邊緣裝置共享雲計算能力成本，可以平衡雲、裝置和邊緣的計算能力需求。
根據AI PC出貨量的滲透率，Canalys預計PC出貨量將達到267億台，我們參考這個資料，假設PC出貨量為24/2.6/2.8/3. 000,000,000,00同樣，在七種不同情景下，AI PC滲透率的假設分別為5%、10%、20%、30%、40%、50%和60%。 據計算，AI PC出貨量範圍為012~1.80億個單位。 假設AI電腦漲價水平，AI電腦漲價1000元和1500元兩種不同情景下的增量市場空間分別為12018億元和180270億元。
隨著工藝的發展，GPU開始在個人PC和移動裝置上普及，甚至隨著其效能的指數級增長，獨立顯示卡的勢頭也逐漸增強。
NPU（Neural Network Processing Unit）可以在電路層模擬人體神經元和突觸，用深度學習指令集直接處理大規模神經元和突觸，一條指令就完成一組神經元的處理。 與CPU和GPU的馮·諾依曼結構相比，NPU通過突觸加權將儲存和計算整合在一起，從而提高了運營效率。 NPU是一種ASIC晶元，目前主要用於深度學習和機器學習等人工智慧任務。
高通在2023驍龍科技峰會上發布了面向AI手機的驍龍8 Gen3和面向AI的驍龍X Elite，率先成為同時搶占生成式AI應用兩端側賽道的晶元廠商。 就手機而言，搭載驍龍 8 Gen3 的手機執行穩定的 Diffusion 機型，只有 06秒本地生成一張影象，與驍龍8 Gen2的15秒相比，大大優化了移動裝置上生成式AI的推理速度。 在PC端，高通率先推出了驍龍X Elite平台，不僅拓展了生成式AI應用的廣度，也是高通進軍PC市場的重要一步。
驍龍 8 Gen3 採用的高通 AI 引擎，為移動裝置搭載了強大的 Hexagon NPU，整合了公升級的硬體加速單元、微切片推理單元、增強的張量、標量和向量單元，共享乙個頻寬兩倍的大共享記憶體。 它還支援 INT8+INT16 的混合精度以及 INT4、INT8、INT16 和 FP16 的所有精度。 根據 Heart of the Machine 的說法，它的效能比其前身高出 98%，能源效率提高了 40%。 驍龍 8 Gen3 首次支援執行 100 億引數的模型，規模已達到 100 億。同時，穩定擴散生成影象所需的時間已減少到不到1秒，這是最快的速度。 驍龍 8 Gen3 在執行 Meta 大語言模型 LLAMA2-7B 時，每秒可以生成 20 個代幣，這也是手機端速度最快的一款。
驍龍 X Elite 處理器採用 4nm 工藝技術，並整合了定製的高通 Oryon CPU，其執行速度是英特爾 12 核處理器的兩倍，功耗比英特爾的競爭對手低 68%，在高峰時段執行速度比蘋果的 M2 快 50%。 驍龍 X Elite 專為 AI 打造，採用業界領先的高通 AI 引擎，整合了 Hexagon NPU，異構算力高達 75 tops，支援裝置側超過 130 億引數的生成式 AI 模型，70 億引數的大模型每秒生成 30 個代幣，AI 處理速度是競品的 4%5次。 據高通官方稱，配備驍龍 X Elite 的 PC 預計將於 2024 年年中上市。
報告總數：頁。
特色報告**：人工智慧學院