【日常记录】proxypool代理池的构建

日常记录】proxypool代理池的构建"/>

【日常记录】proxypool代理池的构建

小荣的日常记录

📆bilibili配套视频：

/?share_source=copy_web&vd_source=0e30e09a4adf6f81c3038fa266588eff

🔥系列专栏：日常记录
🎉欢迎关注🔎点赞👍收藏⭐️留言📝
📆首发时间：🌴2023年5月24日🌴
🍭作者水平很有限，如果发现错误，还望告知，感谢！

文章目录

• 小荣的日常记录
• • 安装redis
  • • • 修改redis配置文件
      • 开启redis
  • 拉取proxy_pool
  • • • 写一个快速启动脚本
  • 细节

因为之前发的视频提到了代理池，然后又很多朋友私信我不知道怎么配，所以就有了这篇文章

安装redis

apt-get install redis-server

修改redis配置文件

自动安装的目录在 /etc/redis/redis.conf 接下来我们打开配置文件进行配置

gedit /etc/redis/redis.conf 
修改如下：
daemonize yes		# 守护进程开启
protected-mode no   # 关闭保护模式
# bind 127.0.0.1 ::1			# 这条代码表示只允许本机访问所以注释掉
port 6379			# redis 开放端口(如果是有防火墙的服务器需要开启该端口)

开启redis

#cd 到redis目录下
cd /etc/redis/
# 启动redis
redis-server redis.conf  
# 连接 Redis 服务
redis-cli
# 使用 ping 测试服务， 出现 PONG 说明成功
ping
# 退出
exit  

拉取proxy_pool

mkdir proxy
git clone  .git gedit setting.py
HOST = "192.168.150.132"  #  想让其他机器能够访问到api，就改成自己的ip地址，
# 要不然改成127.0.0.1也可以
DB_CONN = 'redis://127.0.0.1:6379/0' //因为我们redis默认没密码，所以修改成如下
VERIFY_TIMEOUT = 10  //这里改成1，因为默认10秒超时，那种基本没法用，我们改成1，这样所有留下的都是1秒内响应的，你如果想要更快速的，可以改的更小gedit requirements.txt //这里要多加一个依赖环境
在最下面添加如下一行
itsdangerous==2.0.0
安装pip，如果你有就忽略
apt-get install python3-pip
python3 -m pip install -i  -r requirements.txt
然后启动：
开两个终端，分别执行，第一个是提取并检验的脚本，一直开着就会一直反复检验保证可用性。
python3 proxyPool.py schedule
python3 proxyPool.py server

写一个快速启动脚本

gedit startproxy.sh
如下内容写进去
redis-server /etc/redis/redis.conf  # 启动redis
sleep 5  # 暂停5秒
cd /home/lgb/Desktop/proxy_pool && python3 proxyPool.py schedule &  # 启动爬虫
sleep 5
python3 proxyPool.py server  # 启动api服务chmod +x startproxy.sh //赋权
下次我们就可以直接./startproxy.sh开启服务了

细节

启动web服务后, 默认配置下会开启 http://127.0.0.1:5010 的api接口服务:
然后就OK

我们访问http://127.0.0.1:5010/get
如果可以看到一个ip
那就正常了

然后导入到我们的proxifier，这里有一位博主的文章很详细
大家可以跟着复现