51工具盒子
欢迎使用 Typecho
用了好几年的 *Hexo* 如今换成了 *Typecho*，换完之后心情挺复杂。 本想写篇博文记录一下最近的笔记，奈何升级 *Big Sur* 后 *node* 环境有问题，索性直接换到了 Typecho。 迁移使用 [hexo-2-typecho](https://github.com/jiangmitiao/hexo-2-typecho) 工具，过程还挺顺利。 今年的...
软件教程
PyTorch Tensor 创建方法
PyTorch 是一个 Python 包，用于将数据封装成张量（Tensor）来进行运算。PyTorch 中的张量就是元素为同一种数据类型的多维矩阵。 1. 基本创建方式 2. 创建线性和随机张量 3. 创建01张量 4. 张量元素类型转换 1. 基本创建方式 {#title-0} ==================== 1. torch.tensor 2. tor...
PyTorch Tensor 运算函数
PyTorch 为每个张量封装很多实用的计算函数，例如计算均值、平方根、求和等等。 1. mean 函数用于计算张量均值 2. sum 函数用于计算张量和 3. pow 函数用于计算张量平方 4. sqrt 函数用于计算张量平方根 5. exp 函数用于计算张量e的多少次方 6. log 函数用于以e为底求对数 **示例代码:** ``` import torch d...
PyTorch 自动微分模块
自动微分（Autograd）模块对张量做了进一步的封装，具有自动求导功能。自动微分模块是构成神经网络训练的必要模块，在神经网络的反向传播过程中，Autograd 模块基于正向计算的结果对当前的参数进行微分计算，从而实现网络权重参数的更新。 1. **梯度基本计算** {#title-0} ======================== 我们使用 backward 方法...
PyTorch 实现线性回归
我们通过手动实现线性回归的假设函数、平方损失、SGD优化方法、以及训练函数来实现对 sklearn make_regression 函数产生的数据集进行拟合，最后通过拟合直线、训练损失变化进行可视化。 ``` import torch from sklearn.datasets import make_regression import matplotlib.pyplot a...
PyTorch DataLoader 使用
在 PyTorch 中，使用 torch.utils.data.DataLoader 类可以实现批量的数据集加载，在我们训练模型中非常常用，其功能也确实比较强度大。由于其参数比较多，我们将会对其用法进行详解。 1. DataLoader 的基本使用 2. DataLoader 的 collate_fn 参数 3. DataLoader 的 sampler 参数 1. Dat...
PyTorch 中 Linear 和 Embedding 网络层
当我们使用 PyTorch 构建神经网络时，经常使用到一些内置的网络层。本篇文章主要介绍下列层的使用： 1. 线性层（Linear） 2. 词嵌入层（Embedding） 3. 循环网络层（RNN、GRU、LSTM） 1. 线性层 {#title-0} ================= ``` torch.nn.Linear(in_features, out_featu...
PyTorch 构建词表
在解决 NLP 任务之前, 首先就要构建自己的词表。词表的作用就是给定语料，将文本中的以字为单位、或者以词为单位转换为整数序号，该序号可用于在词嵌入的 lookup table 中搜索词向量。 接下来，我们介绍下词表的构建过程，当然每个人的词表构建过程中对语料的某些处理细节不同，但是大步骤基本都是相同的。我们将使用 LCSTS 数据集构建词表。 LCSTS 数据集是哈工大基...
PyTorch 中 GRU 和 LSTM 循环网络层
在 NLP 任务中主要处理带有序列关系的文本数据，这就需要了解循环（递归）神经网络。下图是一个简单的循环神经网络：  网络中包含...
PyTorch 模型保存和加载
神经网络的训练有时需要几天、几周、甚至几个月，为了在每次使用模型时避免高代价的重复训练，我们就需要将模型序列化到磁盘中，使用的时候反序列化到内存中。 PyTorch 提供了两种保存模型的方法： 1. 直接序列化模型对象 2. 存储模型的网络参数 1. 直接序列化模型对象 {#title-0} ======================= ``` import torc...
