日报推送程序"/>
SecCrawler 安全日报推送程序
目录
0x01 简介
0x02 下载地址
0x03 使用方法
0x04 效果
0x01 简介
secCawler程序是Le0nsec师傅开发的一个方便安全研究人员获取每日安全日报的爬虫和推送程序,目前爬取范围包括先知社区、安全客、Seebug Paper、跳跳糖、奇安信攻防社区、棱角社区等。
0x02 下载地址
或者直接通过网盘获取
链接:
提取码:9mon
0x03 使用方法
下载后解压文件,第一次使用时请使用-init参数在当前文件夹生成默认配置文件,在配置文件中设置爬取的网站和推送机器人相关配置
./SecCrawler -init
相关参数使用方法
使用-h/-help查看详细命令:
使用-c指定使用的配置文件,或者配合-init生成指定文件名的配置文件
使用-test参数执行一次程序后退出
API文档:
注意请求API需要带上Authorization头
编辑配置文件
# 设置Selenium使用的ChromeDriver路径,支持相对路径或绝对路径(如果不爬取先知社区可以不用设置)
ChromeDriver: ./chromedriver/linux64
Proxy:
ProxyUrl: http://127.0.0.1:7890
CrawlerProxyEnabled: false # 开启爬虫代理
BotProxyEnabled: false # 开启请求机器人代理
Cron:
enabled: false
time: 11 # 设置定时任务每天整点爬取推送时间,范围 0 ~ 23(整数)
Api:
enabled: false
debug: false
host: 127.0.0.1
port: 8080
auth: auth_key_here # 请求api需要带上Authorization头
Crawler:
# 棱角社区
# .html
EdgeForum:
enabled: false
# 先知安全技术社区
# /
XianZhi:
enabled: false
# SeebugPaper(知道创宇404实验室)
# /
SeebugPaper:
enabled: false
# 安全客
# /
Anquanke:
enabled: false
# 跳跳糖
# /
Tttang:
enabled: false
# 奇安信攻防社区
#
QiAnXin:
enabled: false
# 洞见微信聚合
# /
DongJian:
enabled: false
Bot:
# 企业微信群机器人
#
WecomBot:
enabled: false
key: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
timeout: 2
# 飞书群机器人
#
FeishuBot:
enabled: false
key: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
timeout: 2
# 钉钉群机器人
#
DingBot:
enabled: false
token: xxxxxxxxxxxxxxxxxxxx
timeout: 2
# HexQBot
#
HexQBot:
enabled: false
api:
qqgroup: 0
key: xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
timeout: 2
# Server酱
# /
ServerChan:
enabled: false
sendkey: xxxxxxxxxxxxxxxxxxxx
timeout: 2
# WgpSecBot
# /
WgpSecBot:
enabled: false
key: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
timeout: 2
编辑完成后保存退出,我用的是server酱,这里就不再叙述了,可以访问官网查看使用方法
/
执行程序
使用screen命令,关闭终端程序仍然执行
#创建一个screen,名字为wenzhang
screen -S wenzhang
然后执行程序
./SecCrawler #这样即使关闭窗口也会继续运行程序
#查看创建的screen
screen -ls
#连接wenzhang后台screen,如果存在的话
screen -r wenzhang
0x04 效果
注:由于在爬取先知安全社区时程序使用了 Selenium,用户需要手动下载ChromeDriver
和Chrome
浏览器。
ChromeDriver镜像站:/
Windows和Mac用户在下载Chrome并安装后,下载对应chrome版本的ChromeDriver并在配置文件config.yml
中指定ChromeDriver的路径Linux用户在下载Chrome(链接如下)并安装后,同上编辑配置文件Debian/Ubuntu(64位.deb) Fedora/openSUSE(64位.rpm)Chrome浏览器可以访问chrome://version/
查看版本命令行可以使用google-chrome-stable --version
查看版本
更多推荐
SecCrawler 安全日报推送程序
发布评论