scrapy项目创建

项目创建"/>

scrapy项目创建

scrapy模块

• 安装
• 创建项目
• 使用项目
• • 安装
  • 原理
• 启动
• 爬取
• • 修改dingdian.py的start_urls和print(response.text)。
  • 修改settings.py的一些参数
  • 了解middlewares.py中间件
  • 爬取
  • scrapy选择器
  • 管道
  • 下载器中间件
  • cookie
  • 多个项目

安装

使用cmd控制台查看scrapy是否安装，没有就安装完再查看。

>conda list
>conda install scrapy
>conda list

创建项目

使用window powershell控制台，先跳转到pycharm项目地址，然后创建项目hello。
创建完成后进入hello目录确定项目主题为dingdian，完成项目创建。

>cd d:
>cd D:\py-workplace
>scrapy startproject hello
>cd hello
>scrapy genspider dingdian wwwwww

打开pycharm，看到项目hello打开。

使用项目

安装

在pycharm的控制台也需要安装scrapy

>pip install scrapy

会有安装提示

Installing collected packages: zope.interface, w3lib, twisted-iocpsupport,
pyasn1, lxml, incremental, hyperlink, hyperframe, hpack, cssselect, 
constantly, Automat, Twisted, pyasn1-modules, priority, parsel, jmespath,
itemadapter, h2, service-identity, queuelib, PyDispatcher, protego,
itemloaders, scrapy

原理

爬虫文件在如图dingdian.py文件书写，items.py用于临时存储，middlewares.py中间件，pipelines.py下载管道，settings.py配置文件。

取自