《动手学深度学习》PyTorch 版本总结（1）

通过伯禹学习平台和Kesci平台，参与了一项14天学习《动手学深度学习》课程，这本书是由李沐等大神编写而成，并提供了配套的视频和源代码。这次活动主要是将里面的Mxnet 框架改成了PyTorch 框架实现了一遍，并由上海交大的老师们再次讲述了一遍。以下内容均是记录学习过程中的一些学习知识点。

Task 01

（1）线性回归

知识点1

在求数值解的优化算法中，小批量随机梯度下降（mini-batch stochastic gradient descent）在深度学习中被广泛使用。

知识点2

知识点3

知识点4

知识点5

(2) Softmax与分类模型

主要原理

(3) 多层感知机

**函数的作用：

常用的**函数：

ReLU
Tanh
Sigmoid

（4）文本预处理

文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤：

1. 读入文本
2. 分词
3. 建立字典，将每个词映射到一个唯一的索引（index）
4. 将文本从词的序列转换为索引的序列，方便输入模型

我们可以通过引入更复杂的规则来解决这些问题，但是事实上，有一些现有的工具可以很好地进行分词，
我们在这里简单介绍其中的两个：spaCy和NLTK。重点了解这两种分词。

（5）语言模型

一段自然语言文本可以看作是一个离散时间序列，给定一个长度为$T$T的词的序列$w_1, w_2, \ldots, w_T$w1​,w2​,…,wT​，语言模型的目标就是评估该序列是否合理，即计算该序列的概率：

$P(w_1, w_2, \ldots, w_T).$P(w1​,w2​,…,wT​).

本节我们介绍基于统计的语言模型，主要是$n$n元语法（$n$n-gram）。在后续内容中，我们将会介绍基于神经网络的语言模型。

随机采样 重点看图示

相邻采样

（6）循环神经网络基础