日常记录】proxypool代理池的构建"/>
【日常记录】proxypool代理池的构建
小荣的日常记录
📆bilibili配套视频:
/?share_source=copy_web&vd_source=0e30e09a4adf6f81c3038fa266588eff
🔥系列专栏:日常记录
🎉欢迎关注🔎点赞👍收藏⭐️留言📝
📆首发时间:🌴2023年5月24日🌴
🍭作者水平很有限,如果发现错误,还望告知,感谢!
文章目录
- 小荣的日常记录
- 安装redis
- 修改redis配置文件
- 开启redis
- 拉取proxy_pool
- 写一个快速启动脚本
- 细节
因为之前发的视频提到了代理池,然后又很多朋友私信我不知道怎么配,所以就有了这篇文章
安装redis
apt-get install redis-server
修改redis配置文件
自动安装的目录在 /etc/redis/redis.conf 接下来我们打开配置文件进行配置
gedit /etc/redis/redis.conf
修改如下:
daemonize yes # 守护进程开启
protected-mode no # 关闭保护模式
# bind 127.0.0.1 ::1 # 这条代码表示只允许本机访问所以注释掉
port 6379 # redis 开放端口(如果是有防火墙的服务器需要开启该端口)
开启redis
#cd 到redis目录下
cd /etc/redis/
# 启动redis
redis-server redis.conf
# 连接 Redis 服务
redis-cli
# 使用 ping 测试服务, 出现 PONG 说明成功
ping
# 退出
exit
拉取proxy_pool
mkdir proxy
git clone .git gedit setting.py
HOST = "192.168.150.132" # 想让其他机器能够访问到api,就改成自己的ip地址,
# 要不然改成127.0.0.1也可以
DB_CONN = 'redis://127.0.0.1:6379/0' //因为我们redis默认没密码,所以修改成如下
VERIFY_TIMEOUT = 10 //这里改成1,因为默认10秒超时,那种基本没法用,我们改成1,这样所有留下的都是1秒内响应的,你如果想要更快速的,可以改的更小gedit requirements.txt //这里要多加一个依赖环境
在最下面添加如下一行
itsdangerous==2.0.0
安装pip,如果你有就忽略
apt-get install python3-pip
python3 -m pip install -i -r requirements.txt
然后启动:
开两个终端,分别执行,第一个是提取并检验的脚本,一直开着就会一直反复检验保证可用性。
python3 proxyPool.py schedule
python3 proxyPool.py server
写一个快速启动脚本
gedit startproxy.sh
如下内容写进去
redis-server /etc/redis/redis.conf # 启动redis
sleep 5 # 暂停5秒
cd /home/lgb/Desktop/proxy_pool && python3 proxyPool.py schedule & # 启动爬虫
sleep 5
python3 proxyPool.py server # 启动api服务chmod +x startproxy.sh //赋权
下次我们就可以直接./startproxy.sh开启服务了
细节
启动web服务后, 默认配置下会开启 http://127.0.0.1:5010 的api接口服务:
然后就OK
我们访问http://127.0.0.1:5010/get
如果可以看到一个ip
那就正常了
然后导入到我们的proxifier,这里有一位博主的文章很详细
大家可以跟着复现
更多推荐
【日常记录】proxypool代理池的构建
发布评论