基于∑-Δ調制比特流人工神經網絡硬件實現技術研究.pdf

1、人工神經網絡的硬件實現一直是研究人工智能，專家系統(tǒng)等方向的重要課題。它是通過一種大規(guī)模并行分布式系統(tǒng)模擬人工神經網絡的功能，在非結構化信息處理方面比現有的計算機系統(tǒng)具有明顯的優(yōu)勢。但是這種大規(guī)模并行分布式系統(tǒng)網絡連線復雜，若采用傳統(tǒng)的多比特數字電路實現困難，而本文提出的基于∑-Δ調制的比特流人工神經網絡（SigmaDelta Bit-stream Neural Network，SDBNN）是解決這一難題的有效途徑。一方面相對于傳統(tǒng)數字信

2、號處理系統(tǒng)，單比特信號的傳遞特征能夠極大的減少人工神經元之間的物理連接，更適合超大規(guī)模集成電路(VLSI)的實現;另一方面∑-Δ技術中超高的調制精度也能夠保證神經計算的準確性。而且SDBNN實現技術能夠廣泛應用于多種具體人工神經網絡的構建中，是目前人工神經網絡硬件實現研究領域的熱點之一。
　　本文對∑-Δ調制技術和人工神經網絡硬件實現技術進行了深入研究，設計了基于∑-Δ調制的人工神經網絡中的主要運算單元（包括加法器，乘法器以及多種

3、激活函數單元），并以此構建了線性/非線性多層前饋網絡、反饋型Hopfield網絡以及徑向基函數網絡。同時通過這些不同結構的網絡系統(tǒng)，實現了非線性分類、函數逼近以及文字識別等功能。論文主要內容包括:
　　(1)為了構建基本人工神經元，分析了多種基于∑-Δ調制的加法器結構、乘法器結構，比較了其優(yōu)缺點，優(yōu)化了其中部分運算單元，提高了它們的運算速度，并降低了硬件資源消耗。同時進一步分析運算單元的電路特性，設計了基于∑-Δ調制的L級平均乘法

4、器芯片。在IC設計過程中，優(yōu)化了其電路結構，運用源極耦合技術設計和多級流水線結構提高了其運算速度。流片測試結果表明，該乘法器可以工作在4GHz時鐘頻率下。
　　(2)為了實現人工神經網絡的非線性，提出基于∑-Δ調制的非線性類Sigmoid激活函數單元（Sigma-Delta Sigmoid-like Function Activation Unit）的硬件實現方法。這種實現方法是通過不同反饋系數的限幅放大器的線性組合，完成對Sig

5、moid函數的逼近。將此激活函數單元應用至隱含層神經元中，可在FPGA上構建實現比特流多層BP網絡。這種基于∑-Δ調制的比特流BP網絡同樣能夠實現邏輯異或、非線性區(qū)域分類、以及函數逼近等功能。同時還設計完成了基于反向傳播算法的在片訓練系統(tǒng)，該在片訓練系統(tǒng)能夠通過自我反饋學習訓練并完成非線性邏輯異或判定。
　　(3)提出基于∑-Δ調制的類立方根激活函數單元(Sigma-Delta Cubic-like FunctionActivat

6、ion Unit)的硬件實現方法，并以此為基礎在FPGA上實現了比特流非線性BP網絡。分析立方根激活函數運算模塊的具體原理，以及延時單元在優(yōu)化計算精度中所起到的作用。通過實例驗證得出，以類立方根激活函數構建的多層BP網絡雖然硬件消耗較大，但是其輸出平面較Sigmoid激活函數更加陡峭，同樣能夠實現非線性判斷。
　　(4)研究了∑-Δ調制技術在反饋Hopfield網絡中的應用，并在FPGA上構建實現了此類網絡系統(tǒng)。運用Hebb訓練算

7、法和同步擾動算法分別實現普通聯想記憶和強制記憶功能，并根據同步擾動算法實現了在片訓練系統(tǒng)。實驗結果表明該在片訓練系統(tǒng)訓練過程中權值收斂，誤差降低，最終能夠實現字母間的強制記憶。同時本文還通過邏輯綜合和布局布線設計了普通12神經元Hopfield網絡芯片。
　　(5)提出了基于∑-Δ調制的類Gauss函數計算單元(Sigma-Delta Gauss-Like FunctionActivation Unit，SDGAU)的結構，并通過

8、這種結構利用較少的硬件資源實現了精度較高的運算電路。結合2-范數運算單元在FPGA上設計出徑向基函數模塊和基于∑-Δ調制的比特流徑向基函數網絡。同時通過中心固定算法計算出徑向基函數網絡輸出層權值，并以函數逼近為實例驗證了網絡功能。結果表明徑向基函數網絡雖然消耗資源比多層BP網絡較多，但是它能夠更好的實現函數逼近功能。
　　多層面的研究表明將基于∑-Δ調制的數字信號處理技術和人工神經網絡硬件實現技術相結合，能夠實現多種復雜人工神經網