admin管理员组

文章数量:1597903

  • 目录
    • 前言
    • 使用详解
      • 安装
      • 启动
      • 项目发布
      • 相关API使用
        • 查看服务进程状态
        • 项目发布版本
        • 调度爬虫
        • 取消任务
        • 获取上传的项目
        • 获取项目的版本
        • 获取项目的爬虫列表
        • 获取任务列表(Scrapyd 0.15版本以上)
        • 删除项目版本
        • 删除项目

前言

Scrapyd通常作为守护进程运行,它侦听运行爬虫的请求,并为每个请求生成一个进程,该进程基本上执行:scrapy crawl [myspider]

Scrapyd还并行运行多个进程,将它们分配到max_procmax_proc_per_cpu选项提供的固定数量的插槽中,启动尽可能多的进程来处理负载。

除了调度和管理进程之外,Scrapyd还提供了一个JSON web服务来上载新的项目版本(作为egg)和调度爬虫。

Scrapyd官方文档 https://scrapyd.readthedocs.io/en/latest/index.html

划重点:通过api方式多进程执行请求,在网页端查看正在执行的任务,也

本文标签: 详解Scrapyd