第二節(jié) 深度神經網絡模型 

2.1 線性神經網絡實例 

2.1.1 線性回歸 

2.1.2 softmax 回歸 

2.2 多層感知機實例 

2.2.1 多層感知機 

2.2.2 模型選擇、欠擬合和過擬合 

2.2.3 權重衰減 

2.2.4 暫退法（Dropout） 

2.3 卷積神經網絡實例 

2.3.1 從全連接層到卷積 

2.3.2 多輸入多輸出通道 

2.3.3 匯聚層 

2.3.4 卷積神經網絡（LeNet） 

2.4 循環(huán)神經網絡實例 

2.4.1 序列模型 

2.4.2 語言模型和數據集 

2.4.3 循環(huán)神經網絡 

2.5 生成對抗網絡實例 

2.5.1 概率生成模型 

2.5.2 變分自編碼器 

2.5.3 生成對抗網絡 

2.6 基于注意力機制的 Transformer 架構 

2.6.1 注意力機制 

2.6.2 自注意力機制 

2.6.3 Transformer

第三天 基于深度學習的透射式

光學系統(tǒng)初始結構設計

第一節(jié) 監(jiān)督學習過程 

1.1 DNN 模型介紹 

1.2 自歸一化神經網絡參數初始化方法 

1.3 SELU 函數及使用 

1.4 Softplus 函數及使用 

1.5 最鄰近搜索算法 

1.6 監(jiān)督損失函數的構建 

第二節(jié) 無監(jiān)督學習過程 

2.1 光線追跡 

2.2 光線追跡自定義監(jiān)督函數 

第三節(jié) 半監(jiān)督學習過程 

3.1 超參數設置 

3.2 監(jiān)督函數 

3.3 模型可靠性的討論與驗證