51工具盒子
Tokenization Pipeline
我们在使用 transformers 时，需要使用自己的数据来构建 tokenizer。这里我们使用 tokenizer 库，该库可以帮我们更加轻松的构建不同类型的 Tokenizer。安装命令如下： ``` pip install tokenizer ``` 训练一个分词器，我们需要经过以下几个步骤的工作： 1. normalization 2. pre-tokeniz...
Python笔记
Using Transformers – pipeline
Transformer 通常有数树百万、甚至数百亿的参数，训练和部署这些模型是一项复杂的工作。此外，由于几乎每天都会发布新模型并且每个模型都有自己的实现，使用它们并不是一件容易的事。Transformers 库提供了简单、统一的接口来加载、训练、保存这些模型。Transfomers 库支持 tensorflow 和 pytorch 两种深度学习框架。 1. pipline...
Anaconda以及Pip配置清华镜像源
<p>Anaconda是一个开源的Python发行版本，用来管理Python相关的包。</p> <p>最近换了新电脑，在使用Anaconda安装Python包时，系统会自动从默认源下载安装包，但是由于网络访问限制或网络连接速度较慢等原因，会导致安装失败或安装速度较慢。</p> <p>因此，为了提高安装速度和稳定性，一些...
解决pip install出现“由于目标计算机积极拒绝，无法连接”的问题
> 本文记录执行 pip install 时出现的"由于目标计算机积极拒绝，无法连接"错误解决方案。 ### 问题原因 {#问题原因} * 代理各种坑 ### 解决方案 {#解决方案} 去掉代理服务器相关设置 * 控制面板 -\> Internet选项 -\> 连接 -\> 局域网设置 * 去掉所有勾勾 ### 参考资料 ...
为什么我在使用pip时一直收到这些错误，该如何解决？
<p>英文:</p> <p>Why do I keep receiving these errors when using pip, and how can I get it to work?</p> <h1>问题 {#heading}</h1> <p>每次我在终端（mac）中尝试运行pip i...
grid_pipeline.fit使用solver参数的默认值，而不是GridSearchCV中指定的值。
<p>英文:</p> <p>grid_pipeline.fit uses default value of solver parameter instead of GridSearchCV value</p> <h1>问题 {#heading}</h1> <p>我尝试找到<code>...
使用以下命令通过pip安装正确版本的onxruntime来安装chromadb： “`
<p>英文:</p> <p>Install the correct onxruntime for chromadb with pip install</p> <h1>问题 {#heading}</h1> <p>我正在尝试在我的Jupyter笔记本（Anaconda）上安装chromadb，使用以...
pip 常用命令与国内源配置
> pip默认源存在速度慢的问题，本文介绍pip命令添加国内源的方法。 ### pip常用命令 {#pip常用命令} #### 安装包 {#安装包} #### 更新包 {#更新包} #### 卸载包 {#卸载包} #### 列出已安装软件 {#列出已安装软件} #### 某个包详细信息 {#某个包详细信息} ### 国内源配置 {#国内源配置} #### ...
pip(3) install，完美解决 externally-managed-environment
在 Manjaro 22、Ubuntu 23.04、Fedora 38 等最新的linux发行版中运行pip install时，通常会收到一个错误提示：`error: externally-managed-environment`，即"外部管理环境"错误，但这不是一个 bug。 
