【开源分享】Star 20.6k，自建代理 IP 池服务-工具盒子

项目介绍
项目通过抓取网上免费的代理 IP，然后在本地校验、剔除失效的 IP，从而实现高可用的代理 IP 池。最后使用 Flask 搭建提供代理 IP 服务，包括代理池刷新、无效代理删除、代理获取等功能。

项目架构图

image.png

项目部署

Docker Image

docker pull jhao104/proxy_pool

docker run --env DB_CONN=redis://:password@ip:port/0 -p 5010:5010 jhao104/proxy_pool:latest

使用

• Api

启动web服务后, 默认配置下会开启 http://127.0.0.1:5010 的api接口服务:

| api | method | Description | params | |---------|--------|-------------|----------------------------------| | / | GET | api介绍 | None | | /get | GET | 随机获取一个代理 | 可选参数: ?type=https 过滤支持https的代理 | | /pop | GET | 获取并删除一个代理 | 可选参数: ?type=https 过滤支持https的代理 | | /all | GET | 获取所有代理 | 可选参数: ?type=https 过滤支持https的代理 | | /count | GET | 查看代理数量 | None | | /delete | GET | 删除代理 | ?proxy=host:ip |

免费代理源

目前实现的采集免费代理网站有(排名不分先后, 下面仅是对其发布的免费代理情况,):

| 代理名称 | 状态 | 更新速度 | 可用率 | 地址 | 代码 | |---------------|----|------|--------|----|---------------| | 站大爷 | ✔ | ★ | ** | 地址 | freeProxy01 | | 66代理 | ✔ | ★ | * | 地址 | freeProxy02 | | 开心代理 | ✔ | ★ | * | 地址 | freeProxy03 | | FreeProxyList | ✔ | ★ | * | 地址 | freeProxy04 | | 快代理 | ✔ | ★ | * | 地址 | freeProxy05 | | 冰凌代理 | ✔ | ★★★ | * | 地址 | freeProxy06 | | 云代理 | ✔ | ★ | * | 地址 | freeProxy07 | | 小幻代理 | ✔ | ★★ | * | 地址 | freeProxy08 | | 免费代理库 | ✔ | ☆ | * | 地址 | freeProxy09 | | 89代理 | ✔ | ☆ | * | 地址 | freeProxy10 | | 稻壳代理 | ✔ | ★★ | *** | 地址 | freeProxy11 |