51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

Python笔记

关于 Python 描述符(Descriptor)

关于 Python 描述符(Descriptor)

厉飞雨 阅读(395) 评论(0) 赞(19)

<blockquote> <p>描述符是在 Python 2.2 版本就被引用的特性,然而作为&quot;元老&quot;,却逐渐消失在 Python 教程的视野中。但当你了解它时,你就懂得了什么是 Python 的优雅之美。</p> </blockquote> <h2>什么是描述符 {#什么是描述符}...

pip 安装

pip 安装

厉飞雨 阅读(350) 评论(0) 赞(16)

pip: command not found ### python 2.7 wget https://bootstrap.pypa.io/pip/2.7/get-pip.py ### python3 wget https://bootstrap.pypa.io/get-pip.py 安装pip python get-pip.py ![](...

Anaconda以及Pip配置清华镜像源

Anaconda以及Pip配置清华镜像源

厉飞雨 阅读(398) 评论(0) 赞(20)

<p>Anaconda是一个开源的Python发行版本,用来管理Python相关的包。</p> <p>最近换了新电脑,在使用Anaconda安装Python包时,系统会自动从默认源下载安装包,但是由于网络访问限制或网络连接速度较慢等原因,会导致安装失败或安装速度较慢。</p> <p>因此,为了提高安装速度和稳定性,一些...

Using Transformers – pipeline

Using Transformers – pipeline

厉飞雨 阅读(346) 评论(0) 赞(23)

Transformer 通常有数树百万、甚至数百亿的参数,训练和部署这些模型是一项复杂的工作。此外,由于几乎每天都会发布新模型并且每个模型都有自己的实现,使用它们并不是一件容易的事。Transformers 库提供了简单、统一的接口来加载、训练、保存这些模型。Transfomers 库支持 tensorflow 和 pytorch 两种深度学习框架。 1. pipline...

pip 相关

pip 相关

厉飞雨 阅读(221) 评论(0) 赞(15)

永久更换源 ```text pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple ``` Writing to C:\\Users\\71574\\AppData\\Roaming\\pip\\pip.ini ![](http://static.51tbox.com/st...

Tokenization Pipeline

Tokenization Pipeline

厉飞雨 阅读(259) 评论(0) 赞(17)

我们在使用 transformers 时,需要使用自己的数据来构建 tokenizer。这里我们使用 tokenizer 库,该库可以帮我们更加轻松的构建不同类型的 Tokenizer。安装命令如下: ``` pip install tokenizer ``` 训练一个分词器,我们需要经过以下几个步骤的工作: 1. normalization 2. pre-tokeniz...