帖子
勛章
關(guān)注
任務(wù)
清華大學(xué)在大規(guī)模光電智能計(jì)算方面取得進(jìn)展 近日，清華大學(xué)電子工程系方璐副教授課題組提出了面向大規(guī)模光電智能計(jì)算的“光學(xué)-人工雙神經(jīng)元學(xué)習(xí)架構(gòu)（DuAl-Neuron opTical-artificial lEarning,DANTE）”。其中光學(xué)神經(jīng)元精準(zhǔn)建模光場(chǎng)計(jì)算過(guò)程，人工神經(jīng)元以輕量映射函數(shù)建立跳躍連接助力梯度傳播，全局人工神經(jīng)元與局部光學(xué)神經(jīng)元以交替學(xué)習(xí)的機(jī)制進(jìn)行迭代優(yōu)化，在確保學(xué)習(xí)有效性的同時(shí)，大大降低了訓(xùn)練的時(shí)空復(fù)雜度，使得訓(xùn)練更大更深的光電神經(jīng)網(wǎng)絡(luò)成為可能。DANTE突破了大規(guī)模光電神經(jīng)網(wǎng)絡(luò)物理建模復(fù)雜、參數(shù)優(yōu)化困難等桎梏，網(wǎng)絡(luò)規(guī)模提升一至兩個(gè)數(shù)量級(jí)，訓(xùn)練學(xué)習(xí)速度提升兩個(gè)數(shù)量級(jí)。  圖1.光學(xué)-人工雙神經(jīng)元學(xué)習(xí)架構(gòu)（DANTE） 受限于算力瓶頸與顯存容量，現(xiàn)有的單神經(jīng)元學(xué)習(xí)方法僅能實(shí)現(xiàn)百萬(wàn)量級(jí)神經(jīng)元的光電神經(jīng)網(wǎng)絡(luò)訓(xùn)練，難以滿(mǎn)足ImageNet等復(fù)雜大規(guī)模數(shù)據(jù)集的訓(xùn)練需求。課題組在空間光智能計(jì)算平臺(tái)上開(kāi)展了大量仿真與物理實(shí)驗(yàn)驗(yàn)證，將現(xiàn)有百萬(wàn)量級(jí)光電神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練時(shí)間從數(shù)十小時(shí)級(jí)縮短到了分鐘級(jí)。課題組進(jìn)一步基于DANTE，首次實(shí)現(xiàn)了億級(jí)神經(jīng)元的大規(guī)模光電神經(jīng)網(wǎng)絡(luò)訓(xùn)練與推理，在CIFAR-10、ImageNet等多個(gè)數(shù)據(jù)集上實(shí)現(xiàn)了與經(jīng)典人工神經(jīng)網(wǎng)絡(luò)VGG-11和VGG-16相當(dāng)?shù)臏?zhǔn)確率。值得強(qiáng)調(diào)的是，在ImageNet基準(zhǔn)上成功訓(xùn)練光電神經(jīng)網(wǎng)絡(luò)具有重要意義。這展現(xiàn)了DANTE在支撐大規(guī)模光電神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)上的巨大潛力，有望推動(dòng)光電智能計(jì)算從基于MNIST基準(zhǔn)的原型驗(yàn)證階段邁入到使用現(xiàn)代ImageNet基準(zhǔn)來(lái)解決大規(guī)模現(xiàn)實(shí)問(wèn)題的全新時(shí)代。  圖2.DANTE在CIFAR-10和ImageNet數(shù)據(jù)集上的訓(xùn)練與推理性能評(píng)測(cè) 研究成果以“光學(xué)-人工雙神經(jīng)元架構(gòu)訓(xùn)練大規(guī)模光電神經(jīng)網(wǎng)絡(luò)”（Training large-scale optoelectronic neural networks with dual-neuron optical-artificial learning）為題，于11月4日發(fā)表于《自然·通訊》（Nature Communications）期刊上。  圖3.物理 ONN 系統(tǒng)上的 DANTE 清華大學(xué)電子工程系為論文的第一單位，方璐副教授為論文通訊作者，電子系博士后袁肖赟（清華大學(xué)水木學(xué)者、已出站）為論文第一作者，參加研究的作者還包括課題組博士生王勇（已畢業(yè)）、徐智昊，博士后周天貺。 該研究課題得到科技部科技創(chuàng)新2030—“新一代人工智能”重大項(xiàng)目，基礎(chǔ)科學(xué)中心項(xiàng)目、面上項(xiàng)目，清華大學(xué)水木學(xué)者計(jì)劃等的支持。 論文鏈接：https://doi.org/10.1038/s41467-023-42984-y |
最新評(píng)論
-
wangjin001x 2023-11-10 23:26清華大學(xué)在大規(guī)模光電智能計(jì)算方面取得進(jìn)展
-
jeremiahchou 2023-11-11 06:56受限于算力瓶頸與顯存容量，現(xiàn)有的單神經(jīng)元學(xué)習(xí)方法僅能實(shí)現(xiàn)百萬(wàn)量級(jí)神經(jīng)元的光電神經(jīng)網(wǎng)絡(luò)訓(xùn)練，難以滿(mǎn)足ImageNet等復(fù)雜大規(guī)模數(shù)據(jù)集的訓(xùn)練需求。課題組在空間光智能計(jì)算平臺(tái)上開(kāi)展了大量仿真與物理實(shí)驗(yàn)驗(yàn)證，將現(xiàn)有百萬(wàn)量級(jí)光電神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練時(shí)間從數(shù)十小時(shí)級(jí)縮短到了分鐘級(jí)。課題組進(jìn)一步基于DANTE，首次實(shí)現(xiàn)了億級(jí)神經(jīng)元的大規(guī)模光電神經(jīng)網(wǎng)絡(luò)訓(xùn)練與推理，在CIFAR-10、ImageNet等多個(gè)數(shù)據(jù)集上實(shí)現(xiàn)了與經(jīng)典人工神經(jīng)網(wǎng)絡(luò)VGG-11和VGG-16相當(dāng)?shù)臏?zhǔn)確率。值得強(qiáng)調(diào)的是，在ImageNet基準(zhǔn)上成功訓(xùn)練光電神經(jīng)網(wǎng)絡(luò)具有重要意義。這展現(xiàn)了DANTE在支撐大規(guī)模光電神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)上的巨大潛力，有望推動(dòng)光電智能計(jì)算從基于MNIST基準(zhǔn)的原型驗(yàn)證階段邁入到使用現(xiàn)代ImageNet基準(zhǔn)來(lái)解決大規(guī)模現(xiàn)實(shí)問(wèn)題的全新時(shí)代。
-
phisfor 2023-11-11 07:02清華大學(xué)在大規(guī)模光電智能計(jì)算方面取得進(jìn)展
-
3330634618 2023-11-11 07:58近日，清華大學(xué)電子工程系方璐副教授課題組提出了面向大規(guī)模光電智能計(jì)算的“光學(xué)-人工雙神經(jīng)元學(xué)習(xí)架構(gòu)（DuAl-Neuron opTical-artificial lEarning,DANTE）”。其中光學(xué)神經(jīng)元精準(zhǔn)建模光場(chǎng)計(jì)算過(guò)程，人工神經(jīng)元以輕量映射函數(shù)建立跳躍連接助力梯度傳播，全局人工神經(jīng)元與局部光學(xué)神經(jīng)元以交替學(xué)習(xí)的機(jī)制進(jìn)行迭代優(yōu)化，在確保學(xué)習(xí)有效性的同時(shí)，大大降低了訓(xùn)練的時(shí)空復(fù)雜度，使得訓(xùn)練更大更深的光電神經(jīng)網(wǎng)絡(luò)成為可能。DANTE突破了大規(guī)模光電神經(jīng)網(wǎng)絡(luò)物理建模復(fù)雜、參數(shù)優(yōu)化困難等桎梏，網(wǎng)絡(luò)規(guī)模提升一至兩個(gè)數(shù)量級(jí)，訓(xùn)練學(xué)習(xí)速度提升兩個(gè)數(shù)量級(jí)。
-
redplum 2023-11-11 09:16很好的技術(shù)
-
likaihit 2023-11-11 09:17太厲害了
-
sac 2023-11-11 09:18光電智能計(jì)算
-
qyzyq37jason618 2023-11-11 09:25受限于算力瓶頸與顯存容量，現(xiàn)有的單神經(jīng)元學(xué)習(xí)方法僅能實(shí)現(xiàn)百萬(wàn)量級(jí)神經(jīng)元的光電神經(jīng)網(wǎng)絡(luò)訓(xùn)練，難以滿(mǎn)足ImageNet等復(fù)雜大規(guī)模數(shù)據(jù)集的訓(xùn)練需求。課題組在空間光智能計(jì)算平臺(tái)上開(kāi)展了大量仿真與物理實(shí)驗(yàn)驗(yàn)證，將現(xiàn)有百萬(wàn)量級(jí)光電神經(jīng)元網(wǎng)絡(luò)的訓(xùn)練時(shí)間從數(shù)十小時(shí)級(jí)縮短到了分鐘級(jí)。課題組進(jìn)一步基于DANTE，首次實(shí)現(xiàn)了億級(jí)神經(jīng)元的大規(guī)模光電神經(jīng)網(wǎng)絡(luò)訓(xùn)練與推理，在CIFAR-10、ImageNet等多個(gè)數(shù)據(jù)集上實(shí)現(xiàn)了與經(jīng)典人工神經(jīng)網(wǎng)絡(luò)VGG-11和VGG-16相當(dāng)?shù)臏?zhǔn)確率。值得強(qiáng)調(diào)的是，在ImageNet基準(zhǔn)上成功訓(xùn)練光電神經(jīng)網(wǎng)絡(luò)具有重要意義。這展現(xiàn)了DANTE在支撐大規(guī)模光電神經(jīng)網(wǎng)絡(luò)訓(xùn)練學(xué)習(xí)上的巨大潛力，有望推動(dòng)光電智能計(jì)算從基于MNIST基準(zhǔn)的原型驗(yàn)證階段邁入到使用現(xiàn)代ImageNet基準(zhǔn)來(lái)解決大規(guī)�，F(xiàn)實(shí)問(wèn)題的全新時(shí)代。
-
churuiwei 2023-11-11 09:40隨著大模型等人工智能技術(shù)的突破與發(fā)展，算法復(fù)雜度劇增，對(duì)傳統(tǒng)計(jì)算芯片帶來(lái)了算力和功耗的雙重挑戰(zhàn)。
-
cufgr 2023-11-11 10:56課題組進(jìn)一步基于DANTE，首次實(shí)現(xiàn)了億級(jí)神經(jīng)元的大規(guī)模光電神經(jīng)網(wǎng)絡(luò)訓(xùn)練與推理，在CIFAR-10、ImageNet等多個(gè)數(shù)據(jù)集上實(shí)現(xiàn)了與經(jīng)典人工神經(jīng)網(wǎng)絡(luò)VGG-11和VGG-16相當(dāng)?shù)臏?zhǔn)確率。
12