神经网络和反向传播
神经网络架构: 更多的神经元,更大的模型容量,使用更强的正则化进行约束。
神经网络的分层计算 f W 2 m a x ( 0 , W 1 x b 1 ) b 2 fW_2max(0,W_1xb_1)b_2 fW2max(0,W1xb1)b2,其中max函数体现了非线性,如果想要加深网络的层次,必须…
循环神经网络
RNN
核心思想:RNN内部有一个“内部状态”,随着序列处理而更新 h t f W ( h t − 1 , x t ) h_tf_W(h_{t-1},x_t) htfW(ht−1,xt) 一般来说 h t t a n h ( W h h h t − 1 W x h x t ) h_ttanh(W_{hh}h_{t-1}W_{xh}x_t) httanh(Whhht−1Wxhxt…