近日，上海交通大學電子信息與電氣工程學院電子工程系鄒衛(wèi)文教授團隊提出了光子學與計算科學交叉的創(chuàng)新思路，研制了實現高速張量卷積運算的新型光子張量處理芯片，相關成果以“High-order tensor flow processing using integrated photonic circuits”（基于集成光子芯片的高階張量流式處理）為題發(fā)表在《自然·通訊》（Nature Communications）期刊上。

研究背景

多維數據堆疊構成的張量形式是數據處理的高效形式，有利于發(fā)掘數據中的內在結構特征，在雷達、通信、人工智能、生命科學等領域得到廣泛應用。隨著未來信息技術的發(fā)展，數據生成速度呈現爆炸式增長，海量數據的多維堆疊及其高效快速處理成為當前面臨的重要科學挑戰(zhàn)。為應對這一挑戰(zhàn)，傳統(tǒng)電學處理器通常采用通用化矩陣乘法(Generalized Matrix Multiplication, GeMM)策略將高階張量運算轉化成為矩陣乘法運算，將多級嵌套的循環(huán)運算轉化為并行運算，通過提升計算核心數量來增大張量處理的整體速度。然而，GeMM策略依賴于數據的大量復制，需要額外內存占用以及內存與處理器間的反復通信開銷，是提升多維數據張量運算速度的核心瓶頸之一。

創(chuàng)新成果

該研究創(chuàng)新提出了基于光子集成手段構建張量運算過程的學科交叉研究思路，既可發(fā)揮出光學的寬帶高速特性將運算時鐘頻率提升至數十GHz，又可利用光學的多自由度直接表征張量數據的不同維度。該思路無需進行張量到矩陣的轉換，可實現輸入張量到輸出張量的流式計算。

光子張量處理芯片的原理架構

基于這一創(chuàng)新思路，該團隊設計并研制了一款光子張量處理芯片，綜合利用了光學的波長、空間與時延三個自由度，在多通道圖像上成功驗證了時鐘頻率為20 GHz的高速張量卷積運算，芯片算力密度為588 GOPS/mm2，后續(xù)通過提升光子器件集成規(guī)模有望達到1 TOPS/mm2以上。研究團隊利用該芯片構建了用于視頻動作識別的卷積神經網絡，網絡中的卷積層在光子張量處理芯片上完成，最終在KTH視頻數據集上實現了97.9%的識別準確率，接近理想識別準確率98.9%。本研究成果表明光子集成芯片可以在超高時鐘頻率下實現張量流式處理，解決額外內存占用與訪存問題，為構建高性能計算、寬帶信號處理等先進信息系統(tǒng)提供了新技術途徑。

光子張量處理芯片

多通道圖像卷積計算結果

相關成果

鄒衛(wèi)文教授團隊前期在光子學與計算科學方向上開展深入研究，已形成的光電融合處理原理與光電混合集成方法為光子張量處理芯片的成功研制提供了重要基礎。近期在光子計算核心原理、創(chuàng)新架構和先進應用驗證等方面開展了系列研究，發(fā)表Opt. Express 2022, 30(23): 42057、Opt. Lett. 2022, 47(24): 6409等成果。相關研究還推動了光微梳集成處理單元（Microcomb-based integrated photonic processing unit）工作順利開展（該工作由北京大學王興軍教授團隊牽頭，鄒衛(wèi)文教授團隊參與），相關研究成果也被《自然·通訊》期刊接收發(fā)表，Nature Communications volume 14, Article number: 66 (2023)。

上海交通大學為該項研究的獨立完成單位，電子工程系智能微波光波融合創(chuàng)新中心助理教授徐紹夫、博士研究生王靜為共同第一作者，鄒衛(wèi)文教授為唯一通訊作者。

該研究工作獲得國家自然科學基金交叉學部杰青項目（T2225023）、青年基金項目（62205203）和國家重點研發(fā)計劃項目（2019YFB2203700）支持。

論文鏈接：https://www.nature.com/articles/s41467-022-35723-2