|
來源：IT之家 @Tony Mongkolsmai 發現，英特爾已經在 GitHub 上開源了其 NPU 加速庫，支持 Windows 和 Linux。 開發人員可以按照相應文檔對其軟件進行優化，從而適配新一代 AI 模型，包括 TinyLlama 和 Gemma-2b-it。 
根據官方描述：英特爾 NPU 加速庫是一個 Python 庫，旨在利用英特爾神經處理單元 (NPU) 的強大性能在兼容硬件上執行高速計算，從而提高應用的效率。 英特爾還表示其 NPU 加速庫目前不斷開發中，后續將推出各種能顯著提高性能的功能，截至IT之家發稿已經實現了 8bit 量化、Float16 支持、torch.compile 支持等，后續還將支持 NPU / GPU 異構計算等功能。
|
