Innatera 開發(fā)的 Pulsar 片上系統(tǒng) （SoC） 集成了多個(gè)低功耗人工智能/機(jī)器學(xué)習(xí) （AI/ML） 脈沖神經(jīng)網(wǎng)絡(luò) （SNN） 加速器，這些加速器針對(duì)基于傳感器的解決方案（圖 1）。我與 Innatera 的首席執(zhí)行官 Sumeet Kumar 討論了這款 SoC 如何在基于電池供電或能量收集的應(yīng)用中提供始終在線 （AON） 的神經(jīng)網(wǎng)絡(luò)作。

1. Innatera 的 Pulsar 片上系統(tǒng)集成了模擬和數(shù)字尖峰神經(jīng)網(wǎng)絡(luò) （SNN） 以及 FFT 和 CNN 加速。

與基于云的 AI/ML 支持和更耗電、非 SNN、基于邊緣的解決方案相比，AON作和在本地處理所有數(shù)據(jù)的能力在延遲、隱私和性能方面具有顯著優(yōu)勢(shì)。

模擬和數(shù)字尖峰神經(jīng)網(wǎng)絡(luò)有什么區(qū)別？

脈沖神經(jīng)網(wǎng)絡(luò)，也稱為神經(jīng)形態(tài)計(jì)算，比卷積神經(jīng)網(wǎng)絡(luò) （CNN） 等傳統(tǒng)的數(shù)字深度神經(jīng)網(wǎng)絡(luò) （DNN） 與生物神經(jīng)元的關(guān)系更密切。SNN 使用基于時(shí)間的 “尖峰” 作為輸入，導(dǎo)致 “神經(jīng)元” 根據(jù)與輸入相關(guān)的權(quán)重產(chǎn)生額外的尖峰（圖 2）。這模擬了真實(shí)神經(jīng)元的運(yùn)作方式，而 CNN 則并行處理所有輸入。

2. 脈沖神經(jīng)網(wǎng)絡(luò)是面向時(shí)間的，帶有 “spikes”。

SNN 可以作為模擬或數(shù)字電路實(shí)現(xiàn)。主要區(qū)別在于它們的實(shí)現(xiàn)方式，而不是它們的邏輯作。兩者都利用權(quán)重并通過多級(jí)數(shù)組觸發(fā)神經(jīng)元。模擬方法具有連續(xù)運(yùn)行和集成以及非常低功耗運(yùn)行的優(yōu)勢(shì)。數(shù)字方法更靈活，更適合某些模型。

Innatera 的 Pulsar 包括模擬和數(shù)字 SNN 加速，使開發(fā)人員能夠選擇用于特定 AI/ML SNN 模型的選項(xiàng)。

為什么在一個(gè)芯片上混合使用模擬和數(shù)字 SNN？

該公司在 Pulsar 上混合了多個(gè)加速器。這包括模擬和數(shù)字 SNN 加速器以及 CNN 和快速傅里葉變換 （FFT）。每個(gè)都有自己的優(yōu)勢(shì)，允許開發(fā)人員根據(jù)應(yīng)用程序利用每個(gè)。加速器針對(duì)應(yīng)用程序的特定方面進(jìn)行了優(yōu)化;他們可能在特定時(shí)間活躍，也可能不活躍。例如，超低功耗模擬 SNN 可用于跟蹤傳感器作，并在檢測(cè)到某些情況時(shí)啟動(dòng)其余硬件。

如何混合使用模型的一個(gè)示例是智能門鈴，它確定何時(shí)在視野中。傳感器可以是視頻、紅外或雷達(dá)。SSN 精通這種類型的身份證明。

為什么 SNN 是始終在線的機(jī)器學(xué)習(xí)作的關(guān)鍵

Pulsar 的 SNN 效率比在傳統(tǒng)的數(shù)字 DNN 中實(shí)現(xiàn)類似模型高出大約兩個(gè)數(shù)量級(jí)。這種電力要求的降低從根本上改變了

AI/ML 加速器由支持浮點(diǎn)的 32 位 RISC-V 處理器控制，類似于 Arm Cortex-M4F。它可以處理 AI/ML 雜務(wù)，但通常它管理數(shù)據(jù)、通信和系統(tǒng)作。處理器可以在 SNN 運(yùn)行時(shí)休眠。

Pulsar 采用 2.8 × 2.6 mm 晶圓級(jí)芯片級(jí)封裝 （WLCSP）。軟件支持通過 Innatera 的 Talamo 套件提供，該套件與 PyTorch 集成。開發(fā)人員可以在 PyTorch 中創(chuàng)建和測(cè)試模型，以便在 Pulsar 上實(shí)現(xiàn)。仿真器提供芯片的全功能仿真，使開發(fā)人員能夠在模擬和數(shù)字 SSN 以及 CNN 加速器上測(cè)試模型。