深度学习基础 - 导数

深度学习基础 - 导数

邵盛松

斜率 （图片来自wiki）

$k = \tan \theta = \frac { y _ { 2 } - y _ { 1 } } { x _ { 2 } - x _ { 1 } } = \frac { \Delta y } { \Delta x }$k=tanθ=x2​−x1​y2​−y1​​=ΔxΔy​

导数

在3Blue1Brown的《微积分的本质 - 02 - 导数的悖论》详细介绍了导数的意义
说明了发明微积分的先辈们为什么要引入一个导数的定义
巴罗、 牛顿 、莱布尼茨发明了微积分,柯西、魏尔斯特拉斯给出了严格定义,
微积分的大厦不是一蹴而就完成的.
牛顿要解决是物理问题，数学是他的工具，如果没有工具，他就自己造。
给行驶中的车辆拍个照，问照片中的这辆车瞬时速度是多少？计算速度 要求路程 和时间，照片中的车没路程没时间哪里来的速度。
速度到底说的是什么意思，
用一小段时间内距离的变化表示，这个很小的时间段，不管有多小，总要有那么个时间段，时间段为$dt$dt可以想象成0.0000001，只能用逻辑推理，而无法想象有无数个0后面跟着一个1是个什么样的，就像假设宇宙有无限大，无限大怎么想象。$dt$dt非常非常小的趋近于0， 距离变化为$ds$ds， 速度$v(t)$v(t)就是

$\frac{ds}{dt}=\frac{s(t+dt)-s(t)}{dt}$dtds​=dts(t+dt)−s(t)​
上述的这个式子就可以描述一个变化率。
让dt非常接近0，是个技巧，我看这就是萌芽状态的微积分，看这个式子是不是和定义的极限很像，所以定义导数时，先定义了极限。也是因为这个技巧变化率就有了意义
导数就是计算“最佳近似”的工具，就像画一个切线，两点确定一条直线，如果是两个点就是割线。如果是一个点，直线怎么画？还是大牛们想出的那个技巧“无限接近”，
一个点向另一个点不断的移动，移动到越来越近都快要重合了但是没重合，直线的斜率越来越接近要找的斜率，通过该点的切线的斜率。
$= \lim _ { h \rightarrow 0 } \frac { f ( x + h ) - f ( x ) } { h }$=h→0lim​hf(x+h)−f(x)​

当极限存在就说通了。经过计算得出来的数就成了导数，实际书上或者其他地方只要能看到的，画的切线都是“最佳近似”的切线。“计算”可以精确，“画”只能最佳近似。
看割线与切线，图片来自wiki


我主要是做工程，牛人们是发明公式，而我主要是使用着牛人们发明的公式。

$f ^ { \prime } ( x ) = \lim _ { \Delta x \rightarrow 0 } \frac { f ( x + \Delta x ) - f ( x ) } { \Delta x } = \lim _ { \Delta x \rightarrow 0 } \frac { \Delta y } { \Delta x }$f′(x)=Δx→0lim​Δxf(x+Δx)−f(x)​=Δx→0lim​ΔxΔy​

林群在上海交大报告《微积分降到最低点》中举了一个很简单的例子说明什么是导数

微积分之首是导数，擒贼先擒王。导数是什么？
先看整数除法
$\frac { 91 } { 10 } = 9 + 0.1$1091​=9+0.1

若四舍五入，右边剩下整数9，简化做了除法,回到$x^2$x2
它的导数就是做除法
$\frac { ( x + h ) ^ { 2 } - x ^ { 2 } } { h } = ?$h(x+h)2−x2​=?
简单代数即得等式：对于给定$x$x与任一$h$h
$\frac { ( x + h ) ^ { 2 } - x ^ { 2 } } { h } = 2 x + h$h(x+h)2−x2​=2x+h

这等式是纯代数，无论$h$h有多大。当你要求$h \rightarrow 0$h→0(瞬时速度 )，左边变成除法，但右边变成$2x+0$2x+0.称为$x^2$x2的导数,记
$\left( x ^ { 2 } \right) ^ { \prime } = 2 x$(x2)′=2x

总结他的理解方式是 导数时差商的简化