清華大學(xué)首創(chuàng)智能光計(jì)算終身學(xué)習(xí)架構(gòu)

人工智能任務(wù)日益復(fù)雜、多樣且動(dòng)態(tài)變化，傳統(tǒng)機(jī)器學(xué)習(xí)方法往往基于固定數(shù)據(jù)集訓(xùn)練任務(wù)，無(wú)法適應(yīng)環(huán)境變化，如何使AI系統(tǒng)具備多任務(wù)持續(xù)學(xué)習(xí)的能力成為亟需解決的問(wèn)題。近年來(lái)，隨著摩爾定律的停滯，以衍射神經(jīng)網(wǎng)絡(luò)為代表的光學(xué)架構(gòu)作為新的計(jì)算模態(tài)，在功能和效率方面展現(xiàn)出巨大潛力。然而，當(dāng)前光網(wǎng)絡(luò)仍普遍存在“災(zāi)難性遺忘”（catastrophic forgetting）的問(wèn)題，學(xué)習(xí)新任務(wù)會(huì)失去先前任務(wù)的記憶。受人腦實(shí)現(xiàn)可持續(xù)學(xué)習(xí)的神經(jīng)突觸機(jī)制啟發(fā)，基于光天然物理上的稀疏性和并行性，清華大學(xué)電子工程系方璐副教授團(tuán)隊(duì)首創(chuàng)了智能光計(jì)算終身學(xué)習(xí)架構(gòu)，突破光網(wǎng)絡(luò)單一功能限制，支撐類腦并行多任務(wù)學(xué)習(xí)。通過(guò)稀疏光連接及多光譜并行計(jì)算等關(guān)鍵模塊，賦予光計(jì)算系統(tǒng)超越現(xiàn)有技術(shù)的功能、通量與能效，為智能系統(tǒng)在邊緣硬件的多任務(wù)部署提供了光速解決方案。 }`$:3mb&f  
目前的人工智能模型大多只能處理給定的任務(wù)，當(dāng)環(huán)境發(fā)生變化便無(wú)能為力，距離人們需要的通用智能相差甚遠(yuǎn)。智能系統(tǒng)的可持續(xù)學(xué)習(xí)能力是AI領(lǐng)域發(fā)展的重要瓶頸，正受到廣泛關(guān)注。反觀人類本身，在不斷成長(zhǎng)的過(guò)程中，人腦可以終身學(xué)習(xí)并掌握各種技能。如何借鑒人腦的終身學(xué)習(xí)機(jī)制，挖掘大規(guī)�？沙掷m(xù)進(jìn)化的計(jì)算范式成為了極具挑戰(zhàn)性的研究方向。然而，傳統(tǒng)硅基電子計(jì)算芯片的算力和功耗嚴(yán)重受限，難以滿足現(xiàn)實(shí)迫切所需的大規(guī)模高通量數(shù)據(jù)處理需求，因此探索新的計(jì)算技術(shù)和模態(tài)是未來(lái)智能系統(tǒng)發(fā)展的必然趨勢(shì)。 qphN  
近年來(lái)，以光計(jì)算為基礎(chǔ)、通過(guò)光電融合的方式構(gòu)建光電神經(jīng)網(wǎng)絡(luò)已成為國(guó)際前沿的熱點(diǎn)研究。然而，雖然以衍射神經(jīng)網(wǎng)絡(luò)為代表的各式光網(wǎng)絡(luò)不斷涌現(xiàn)，但是現(xiàn)有的光電系統(tǒng)中的基本光學(xué)計(jì)算單元普遍受限于固化的結(jié)構(gòu)與較低的擴(kuò)展性，極大地限制了光本身的物理潛能和計(jì)算能力，導(dǎo)致當(dāng)前光網(wǎng)絡(luò)只能實(shí)現(xiàn)簡(jiǎn)單的單一任務(wù)，學(xué)習(xí)新任務(wù)時(shí)無(wú)法克服災(zāi)難性遺忘的問(wèn)題。 -uiZp !  
針對(duì)上述問(wèn)題，方璐團(tuán)隊(duì)提出了終身學(xué)習(xí)光計(jì)算架構(gòu)L²ONN（Lifelong Learning Optical Neural Network）（圖1），創(chuàng)新性實(shí)現(xiàn)了可持續(xù)學(xué)習(xí)的多任務(wù)智能系統(tǒng)。受益于大規(guī)模光連接中固有的稀疏性和并行性，光計(jì)算天然地模仿了人腦中神經(jīng)元和突觸的終身學(xué)習(xí)機(jī)制。通過(guò)自適應(yīng)地激活相干光場(chǎng)中的稀疏光連接來(lái)學(xué)習(xí)每個(gè)任務(wù)，同時(shí)逐漸激活光計(jì)算來(lái)持續(xù)獲得對(duì)各種任務(wù)的經(jīng)驗(yàn)信息，多任務(wù)光學(xué)特征由分配有不同波長(zhǎng)的多光譜表征并行處理。所提出光終身學(xué)習(xí)架構(gòu)從理論上確保了光本身物理特性帶來(lái)的可擴(kuò)展性和通用性，構(gòu)建了新型神經(jīng)形態(tài)計(jì)算體系，賦予智能系統(tǒng)以光速計(jì)算的能力。 ML0o:8Bd\