51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

Python笔记

Python 简单进行简繁转换

Python 简单进行简繁转换

厉飞雨 阅读(389) 评论(0) 赞(14)

<p>最近项目中用到了简单的简繁转换,如果用<code>OpenCC</code>太重了,于是搜到了 <a href="https://github.com/gumblex/zhconv">zhconv</a> 这个库。</p> <p><strong>zhconv...

爬虫必备:Python 执行 JS 代码 —— PyExecJS、PyV8、Js2Py

爬虫必备:Python 执行 JS 代码 —— PyExecJS、PyV8、Js2Py

厉飞雨 阅读(429) 评论(0) 赞(17)

<blockquote> <p>在使用爬虫中,经常会遇到网页请求数据是经过 JS 处理的,特别是模拟登录时可能有加密请求。而目前绝大部分前端 JS 代码都是经过混淆的,可读性极低,想理解代码逻辑需要花费大量时间。这时不要着急使用 Selenium 暴力解决,毕竟 Selenium 严重拖慢爬虫效率,我们可以尝试使用一些第三方库,来直接执行前端 JS 代码...

Python 3.8.0 正式版发布,新特性初体验

Python 3.8.0 正式版发布,新特性初体验

厉飞雨 阅读(415) 评论(0) 赞(15)

> 北京时间 10 月 15 日,Python 官方发布了 3.8.0 正式版,该版本较 3.7 版本再次带来了多个非常实用的新特性。 赋值表达式 {#赋值表达式} -------------- PEP 572: Assignment Expressions 新增一种新语法形式:`:=`,又称为"海象运算符"(为什么叫海象,看看这两个符号像不像颜...

适合 Python 初学者的一些技巧和坑

适合 Python 初学者的一些技巧和坑

厉飞雨 阅读(343) 评论(0) 赞(12)

<h2>前言 {#前言}</h2> <p>前几天董大 <a href="https://www.zhihu.com/people/6d23d8e16eb481e548032719bb5898a4">@董伟明</a> 的爱派森上线了,还发了一套 PPT 和视频,PPT 共有75页干货,讲了很多进阶的用...

关于 Python 描述符(Descriptor)

关于 Python 描述符(Descriptor)

厉飞雨 阅读(395) 评论(0) 赞(19)

<blockquote> <p>描述符是在 Python 2.2 版本就被引用的特性,然而作为&quot;元老&quot;,却逐渐消失在 Python 教程的视野中。但当你了解它时,你就懂得了什么是 Python 的优雅之美。</p> </blockquote> <h2>什么是描述符 {#什么是描述符}...

pip 安装

pip 安装

厉飞雨 阅读(350) 评论(0) 赞(16)

pip: command not found ### python 2.7 wget https://bootstrap.pypa.io/pip/2.7/get-pip.py ### python3 wget https://bootstrap.pypa.io/get-pip.py 安装pip python get-pip.py ![](...

Anaconda以及Pip配置清华镜像源

Anaconda以及Pip配置清华镜像源

厉飞雨 阅读(397) 评论(0) 赞(20)

<p>Anaconda是一个开源的Python发行版本,用来管理Python相关的包。</p> <p>最近换了新电脑,在使用Anaconda安装Python包时,系统会自动从默认源下载安装包,但是由于网络访问限制或网络连接速度较慢等原因,会导致安装失败或安装速度较慢。</p> <p>因此,为了提高安装速度和稳定性,一些...

Using Transformers – pipeline

Using Transformers – pipeline

厉飞雨 阅读(345) 评论(0) 赞(23)

Transformer 通常有数树百万、甚至数百亿的参数,训练和部署这些模型是一项复杂的工作。此外,由于几乎每天都会发布新模型并且每个模型都有自己的实现,使用它们并不是一件容易的事。Transformers 库提供了简单、统一的接口来加载、训练、保存这些模型。Transfomers 库支持 tensorflow 和 pytorch 两种深度学习框架。 1. pipline...

pip 相关

pip 相关

厉飞雨 阅读(221) 评论(0) 赞(15)

永久更换源 ```text pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple ``` Writing to C:\\Users\\71574\\AppData\\Roaming\\pip\\pip.ini ![](http://static.51tbox.com/st...

Tokenization Pipeline

Tokenization Pipeline

厉飞雨 阅读(259) 评论(0) 赞(17)

我们在使用 transformers 时,需要使用自己的数据来构建 tokenizer。这里我们使用 tokenizer 库,该库可以帮我们更加轻松的构建不同类型的 Tokenizer。安装命令如下: ``` pip install tokenizer ``` 训练一个分词器,我们需要经过以下几个步骤的工作: 1. normalization 2. pre-tokeniz...