IP代理池Proxy_Pool使用教程(Windows版)

编程知识 更新时间:2023-04-17 02:24:02

一、下载安装 proxy_pool

1. 系统环境

  • Windows 7/8/10/11 64位
  • Python 3 环境

2. 下载地址及参考文档

https://github/jhao104/proxy_pool
爬虫代理IP池项目,主要功能为定时采集网上发布的免费代理验证入库,定时验证入库的代理保证代理的可用性,提供APICLI两种使用方式。同时你也可以扩展代理源以增加代理池IP的质量和数量。

3. 压缩包解压到本地

4. 打开 requirement.txt 安装依赖



win+R打开 运行,输入 “cmd” 打开 cmd.exe。
按照requirement.txt的内容,使用pip install安装依赖。

pip install -y APScheduler==3.2.0 werkzeug==0.15.5 Flask==1.0 requests==2.20.0 click==7.0 gunicorn==19.9.0 lxml redis

输入pip list可以查看已安装的依赖。

5. 安装 redis 数据库

proxy_pool 需要使用redis数据库。目前Windows下安装redis仅支持64位。

下载地址:https://github/tporadowski/redis/releases

安装教程可参考:https://www.runoob/redis/redis-install.html

下载对应zip压缩包,解压缩本地。

在redis目录文件夹右键启动powershell,并启动服务端。

PS D:\Redis-x64-5.0.14> .\redis-server.exe .\redis.windows.conf


另外启动一个新的powershell,并启动客户端,设置认证密码,这里简单设置为abc。

PS D:\Redis-x64-5.0.14> .\redis-cli.exe -h 127.0.0.1 -p 6379
127.0.0.1:6379> set myKey abc
OK
127.0.0.1:6379> get myKey
"abc"
127.0.0.1:6379>


设置好之后,需要修改redis目录下的redis.windows.conf文件中的requirepass为对应的认证密码。在此之前,关闭服务端powershell和客户端powershell。

requirepass abc


接着修改proxy_pool目录下的setting.py文件。

DB_CONN = 'redis://:abc@127.0.0.1:6379/0'

6. 安装 redis 数据库可视化工具【可选】

推荐使用RedisDesktopManager
下载地址(作者提供免费下载):
https://download.csdn/download/weixin_43468923/80010501

二、使用 proxy_pool

1. 获取可用 IP 代理

在redis目录下启动powershell,打开redis服务端。

PS D:\Redis-x64-5.0.14> .\redis-server.exe .\redis.windows.conf

在proxy_pool目录下启动proxy_pool,作为redis客户端去访问redis服务端,刚才已在setting.py进行了端口、认证密码的设置。
proxy_pool有两种启动方式。

PS D:\proxy_pool-master> python proxyPool.py schedule
PS D:\proxy_pool-master> python proxyPool.py server

第一种主要在终端进行。

第二种可在浏览器显示

可通过proxy_pool目录下的setting.py文件进行设置。一般默认为本地地址,端口默认为5010。

打开浏览器,输入对应地址端口。http://127.0.0.1:5010/ 会提示有以下选项(子目录),常用的是get目录或者all目录

分别修改浏览器地址为http://127.0.0.1:5010/get/http://127.0.0.1:5010/all/。会显示出可供使用的IP代理,以及是否支持https。

2. 设置局部代理/全局代理

电脑、手机等终端设备的所有的网络数据,不管是玩游戏、QQ还是看视频看新闻,都从代理ip服务器或vpn服务器进行传输,这种方式我们称之为全局代理。

反之,只有某个程序或者某些程序的网络数据是通过代理ip服务器或vpn服务器进行传输的,那么,我们称它为局部代理。

局部代理:http/https代理 socks代理

HTTP代理:
  www对于每一个上网的人都再熟悉不过了,www的链接请求就是采用的HTTP协议,所以我们在浏览网页和下载数据的时候,用到的就是HTTP代理。
HTTPS代理:
  HTTPS即是超文本传输安全协议,它是由Netscape开发并内置于其浏览器中,用于对数据进行压缩和解压操作,并返回网络上传送回的结果。
  HTTP和HTTPS是在Socks基础上,进行了数据封装,只专注业务,不考虑底层的数据传输。
Socks代理
  Socks是基于IP:Port套接字进行底层的数据传输,支持多种HTTP、FTP、ICMP等上层协议。
HTTP、HTTPS和Socks代理如何选择:
  对于普通用户,一般使用HTTP或HTTPS即可;对于开发者用户,推荐使用Socks,比如微信开发。

局部代理:http/https代理设置

一般在浏览器的设置选项。设置好代理的IP地址和端口即可,之后通过浏览器浏览网页均经过代理服务器。

全局代理

打开计算机“网络和Internet”选项,找到“代理”选项,进行设置即可。

更多推荐

IP代理池Proxy_Pool使用教程(Windows版)

本文发布于:2023-04-13 17:25:00,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/ec24bb9d52c3ec1b195b7ca84d409056.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:教程   IP   Proxy_Pool   Windows

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!

  • 73364文章数
  • 14阅读数
  • 0评论数