51工具盒子

2024-11-13 厉飞雨 阅读(104) 评论(0) 赞(13)

在 NLP 任务中主要处理带有序列关系的文本数据，这就需要了解循环（递归）神经网络。下图是一个简单的循环神经网络：  网络中包含...

2024-11-13 厉飞雨 阅读(141) 评论(0) 赞(9)

神经网络的训练有时需要几天、几周、甚至几个月，为了在每次使用模型时避免高代价的重复训练，我们就需要将模型序列化到磁盘中，使用的时候反序列化到内存中。 PyTorch 提供了两种保存模型的方法： 1. 直接序列化模型对象 2. 存储模型的网络参数 1. 直接序列化模型对象 {#title-0} ======================= ``` import torc...

2024-11-13 厉飞雨 阅读(163) 评论(0) 赞(12)

网络参数初始化的优劣在极大程度上决定了网络的最终性能。比较推荐的初始化方式有 He 初始化是，将参数初始化为服从高斯分布或均匀分布的较小随机整数，同时对参数方差加以规范化。 **处于稳定状态下的神经网络，其参数和数据均值为 0。** PyTorch 中实现了较多的参数初始化 API, 主要如下： 1. 均匀分布初始化 2. 正态分布初始化 3. 全0初始化 4. 全1初始...

2024-11-13 厉飞雨 阅读(149) 评论(0) 赞(14)

<p>池化层 (Pooling) 降低维度, 缩减模型大小，提高计算速度. 另外一个作用可以缓解卷积层对位置的敏感性.</p> <p>池化层主要有两种:</p> <ol> <li> <p>最大池化</p> </li> <li> <p>平均池化<...

2024-11-13 厉飞雨 阅读(152) 评论(0) 赞(25)

<p>Ignite 是一个可以帮助我们在 PyTorch 中训练和评估神经网络的高级库。简单来讲，使用该训练库可以让我们的训练代码更加简洁，灵活。工具的安装命令如下：</p> <pre><code>pip install pytorch-ignite </code></pre> <p>Ignit...

2024-11-13 厉飞雨 阅读(206) 评论(0) 赞(19)

<p>我们一直使用 PyTorch 进行模型训练，有时会出现显存不足的情况。除了找到对应的解决办法，比如：累加梯度、使用自动混合精度，还应该了解训练时，显存究竟在哪些环节被大量占用。主要有以下四个环节：</p> <ol> <li> <p>CUDA 运行内存</p> </li> <li>...

2024-11-13 厉飞雨 阅读(176) 评论(0) 赞(14)

<p>叶子张量是 PyTorch 计算图中的一个重要概念，叶子张量指的就是我们的模型参数，而模型参数一般都是我们自己创建的 <code>requires_grad=True</code> 的张量。它位于整个计算图的开始位置，比如下面这个例子：</p> <pre><code>import torch <...

2024-11-13 厉飞雨 阅读(92) 评论(0) 赞(12)

<p>创建 <code>autograd.Function</code>的子类，需要实现两个静态的方法 forward 和 backward。应用该 op 时，调用 apply 方法，不要直接调用 forward 方法。</p> <p>forward 静态方法中第一个参数为 ctx，它可以理解 Function 对象本...

2024-11-13 厉飞雨 阅读(113) 评论(0) 赞(11)

今天在使用Typecho插件CommentToMail时，发现我的主机无法发送邮件,报错SMTP connect() failed,使用的阿里云万网虚拟主机，查了下原因，在@[胡东东博客](http://hudongdong.com)里找到了方法，发现万网屏蔽了mail()函数和stream_socket_client函数，还好还可以使用fsockopen函数来发信。 首先：...

2024-11-13 厉飞雨 阅读(161) 评论(0) 赞(9)

图像的归一化是将不同量纲的特征归一化到指定的范围内，可以消除不同特征量纲的影响。图像规范化则是将图像规范化到相同的分布。两者都有利于加快模型训练、收敛。 1. 归一化 {#title-0} ================= 图像的每个像素值的范围是 \[0, 255\]，我们在将图像送入网络之前会将其归一化到 \[0, 1\] 或者 \[-1, 1\] 之间。 1....