树莓派python爬虫 股票

爬虫 股票"/>

树莓派python爬虫 股票

为什么使用树莓派搭建自己的爬虫服务器？

树莓派使用Linux操作系统，完美支持爬虫框架Scrapy所需要的环境

爬虫需要长期运行，笔记本电脑可能会随时关闭

树莓派功耗极低，就像路由器一样打开就不用管了

准备好硬件

树莓派3B+

亚克力外壳，散热片，风扇

16G Micro-SD 卡

5V Micro USB 电源

HDMI显示器

USB键盘鼠标

先安装散热片

IMG_20190517_112738.jpg

在固定到底板上，一共有四个螺丝

IMG_20190517_112725.jpg

查SD卡的那一侧先不安装

IMG_20190517_112717.jpg

固定好风扇

IMG_20190517_112704.jpg

完成！

IMG_20190517_112633.jpg

准备好刷卡环境

一台 Windows 10, Mac 或 Linux 电脑

Micro-SD卡 读写器

下载软件

写入SD卡

使用Etcher 将下载好的镜像文件刷入SD卡

图片.png

启动树莓派

连接 HDMI显示器， 鼠标键盘

插入SD卡

连接USB电源

第一次启动，用户名与密码都是ubuntu ，系统强制要求修改密码

图片.png

图片.png

配置WiFi

Ubuntu server 需要配置才能连wifi

编辑 /etc/netplan/50-cloud-init.yaml 文件： sudo vi /etc/netplan/50-cloud-init.yaml

network:

version: 2

ethernets:

eth0:

optional: true

dhcp4: true

wifis:

wlan0:

optional: true

dhcp4: true

access-points:

WIFISSID: {password: WIFIPASSWORD}

注意要修改WIFISSID 和WIFIPASSWORD

修改完成后执行命令

sudo netplan apply

等待几秒后就会连接上Wifi，执行ifconfig 命令查看IP地址后就可以通过putty或ssh命令远程连接树莓派了

如果能够连接成功，现在可以取下来键盘鼠标显示器，将树莓派放到路由器旁边，以后就是远程管理

远程管理树莓派

通过putty或ssh连接树莓派

安装需要的Python库

sudo apt update

sudo apt install python3-pip python3-twisted python3-cffi python3-parsel python3-queuelib python3-pydispatch python3-hamcrest python3-redis

安装需要的pip包

sudo pip3 install --no-deps w3lib==1.20.0 scrapy scrapyd

安装完成以后，测试一下scrapy能否正常运行

ubuntu@ubuntu:~$ scrapy

Scrapy 1.6.0 - no active project

Usage:

scrapy [options] [args]

Available commands:

bench Run quick benchmark test

fetch Fetch a URL using the Scrapy downloader

genspider Generate new spider using pre-defined templates

runspider Run a self-contained spider (without creating a project)

settings Get settings values

shell Interactive scraping console

startproject Create new project

version Print Scrapy version

view Open URL in browser, as seen by Scrapy

[ more ] More commands available when run from project directory

Use "scrapy -h" to see more info about a command

配置scrapyd服务器

在/home/ubuntu目录下新建一个文件 scrapyd.conf

[scrapyd]

bind_address=0.0.0.0

执行命令 scrapyd

ubuntu@ubuntu:~$ scrapyd

Removing stale pidfile /home/ubuntu/twistd.pid

2019-05-17T04:01:21+0000 [-] Removing stale pidfile /home/ubuntu/twistd.pid

2019-05-17T04:01:21+0000 [-] Loading /usr/local/lib/python3.6/dist-packages/scrapyd/txapp.py...

2019-05-17T04:01:22+0000 [-] Scrapyd web console available at :6800/

2019-05-17T04:01:22+0000 [-] Loaded.

2019-05-17T04:01:22+0000 [twisted.scripts._twistd_unix.UnixAppLogger#info] twistd 17.9.0 (/usr/bin/python3 3.6.7) starting up.

2019-05-17T04:01:22+0000 [twisted.scripts._twistd_unix.UnixAppLogger#info] reactor class: twisted.internet.epollreactor.EPollReactor.

2019-05-17T04:01:22+0000 [-] Site starting on 6800

2019-05-17T04:01:22+0000 [twisted.web.server.Site#info] Starting factory

2019-05-17T04:01:22+0000 [Launcher] Scrapyd 1.2.0 started: max_proc=16, runner='scrapyd.runner'

在笔记本上用浏览器打开网页 http://树莓派IP地址:6800

如果你看到以下内容，恭喜，成功搭建树莓派搭建爬虫服务器

图片.png

接下来的工作

使用scrapy开发爬虫项目

使用gerapy、scrapydweb管理爬虫服务器

使用scrapy-redis开发分布式爬虫项目