@蒋志强-d3h

反向传播求导就是全微分公式+链式法则
Forward pass：求出∂Z/∂w，即对应输入的值
Backward pass：求出∂C/∂Z，用全微分公式方向计算
∂C/∂w = ∂Z/∂w * ∂C/∂Z（链式法则）
先前向传播计算一次，再后向传播计算一次，即可求出所有权重的偏微分，再应用Gradient Descent（梯度下降）。

@grantkobe9

謝謝老師. 讓我更清楚瞭解.
我之前一直搞錯 dy/dx =  dy/dx *dc/dy的關係,  Back propagation要求的是dy/dx ,才能往後 update 參數,
(Error: 之前以為是要求的是中間項(dc/dy).一直以為要用除的.所以卡關.)  
這裡的C(x) 是指 lost function的值. 需要知道目前的x對C(x)的 斜率.當成target往前傳.讓前一個layer的dx_pre,dw_pre可以被計算出來 ( dx_pre是指上一層的input, dw_pre是指 matrix, 要算出給一層layer的 dC/dw,.讓每次 train loop可以用dC/dw * learning rate update W matrix)

Conclusion: 
1.dy/dx 再forward path有紀錄. dc/dy從最後一個lost function可以反推回來, 最後一層要算出 dLostFunction/dACVATION_FUNCTION 這樣可以往前傳遞到maxtrix運算的最後一程.
2.dy/dw 在 Matrix 跟 offset 算法不一樣. 在下面的yutube都有說明.
3.如果是用crossEntropy + softwareMax. 這兩個的結果就會是 C-y_hat

另外給其他人參考:
搭配 The Independent Code 的Neural Network from Scratch | Mathematics & Python Code 可以更了解.畢竟有code可以trace.
https://www.youtube.com/watch?v=pauPCy_s0Ok&t=1279s&ab_channel=TheIndependentCode

3.的證明
https://www.youtube.com/watch?v=znqbtL0fRA0&t=2492s&ab_channel=MLDawn

@qazse45678

上過很多線上課程，也自己從網路文章做各種研究，都沒有李老師講得清楚，這系列的課架構很完善，講解得深入淺出，在 Youtube 就能上到這麼優質的課真的賺翻了賺翻了

@hanky4050

非常清楚的講解!!! 自己實作過BP之後再回來聽老師的講解，真的覺得李教授厲害! 能把核心概念講的如此清晰，更在無形中默默證明了很難搞懂的BP公式(叫其他證半天的人怎麼活XD)，真的強。往後會繼續重刷這部片的。

@SpL-mu5zu

啊，终于懂了！看过很多视频都是模糊理解加上自己的想象补全，所以其实是不准确的，但老师的讲解真的简单明了，尤其将这个过程分开forward pass 和backward pass这部分真的是让我完全明白backprogagation的意义。

@peterni7442

That's awesome,I hope every textbook should compile like what MR. Lee said ,that's really something.We need textbooks which represent the process of research rather than begin with defination ...Love from China.

@starrysky2563

所有讲解Backpropagation的教程里，这是讲的最清晰易懂的！

@stephengong2435

太好了，终于听懂了反向传播算法，给老师点赞！！

@mingxingwen8201

Thanks for the detailed explanation, Mr Li. The lecture is amazing and useful.

@xinlinli459

很喜欢讲解的逻辑顺序，很适合复习的时候掉进数学的陷阱忘记了abstract的知识结构的情况，谢谢老师

@leiqizhang232

非常非常好！中文课程里没有更好的了

@li-pingho1441

推 教授真的救了一堆大學生、碩士生

@Lycheeee11

直觉上理解了，也结合这个视频看懂了公式的每一项的含义。感谢。

@leolu555

又被抓回來上課了
這輩子不知道還得來刷幾次...

@faimail2007

看了很多個Backpropagation的Youtube video, 愈看愈糊塗. 看到這個才完全清楚! 多謝李老師!

@wtyang3096

感謝老師，只有一點聽得很不習慣，就是用幾分之幾來描述偏微分XD

@yi-zhenzhang1309

謝謝老師無私分享，真的一看就懂

@stephengong2435

看了很多其他人讲的，都是不清不楚，只有老师讲的清清楚楚。而且简单易懂。

@Recordingization

感谢李老师的讲解。

@chupiggy

謝謝李老師，非常清楚！