python 控制浏览器注入js_js注入+chrome插件爬虫

本例以http://www.biqugexsw/30_30505/为例

页面如下

(1)什么是js注入

首先观察控制台例子的控制台，发现所有的链接在.linsmain下

在console.log下输入

Var s=$(".listmain a");

for(var i=0;i

便能获得所有链接

这就是简单的js注入

python爬虫

Python简单便捷为爬虫首选语言

爬取(1)中的内容并用正则表达式处理

开始爬取单章内容，以http://www.biqugexsw/30_30505/13935714.html

为例

在观察

的控制台

对比之后发现因为这个网站做过反爬虫处理，具体的小说文字被隐藏，关于如何做反反爬虫处理有很多方法，以下只说其中的js注入反反爬虫处理

反反爬虫

在这之前需要理清一下思路

第一现在需要的是控制台底下的这些源码利用console.log注入js可以获取

第二将获取的文字存储到本地，js很难实现这样的功能，那么需要一种可以存储文件的语言，php，python，java都可以，本例以java为例子

第三js如何和java通信，以把获得到的文字发个java，java进行存储

本例以ajax为例

第一已经实现，第二需要建立一个web项目

将js获得文字ajax发给java

var vals=$("#content").text();

var names=$(".content h1").text();

$.ajax({

type:"POST",

url:"http://localhost:8080/jjs/index",

data:{"va":vals,"names":names},

success:function(es){}

});

再在java里获得

如何将字符存储为txt自行百度

批量注入

经过(3)已经可以单张小说爬下来，但是一个小说有很多章，不可能打开一个页面console注入一下，所以要批量注入，批量注入需要解决的问题

第一需要打开不同的页面获取不同的内容然后发个java存储

第二打开的页面较多，会导致浏览器卡死

解决第一个问题需要引入一个工具，浏览器插件(chrome)

在chrome浏览器输入

chrome://extensions/

会进入插件页面，本例以360极速浏览器为例

浏览器插件开发请转

新建一个目录如下

manifest.json：

Content_script属性为注入配置

Matches为访问哪些链接时注入

Js为注入的文件，注入了jq和ch.js

Ch.js这里写打开页面所做的操作

发送本界面的文字，并在两秒后关闭

html 主程序入口，批量打开链接

需要导入批量打开的链接fileList.txt

fileList.txt中内容为单章的链接，利用定时器2s打开一个页面

fileList.txt可用python生成

插件开发完毕之后，在浏览器安装本插件

选择加载已解压的扩展程序，选择插件文件，就将插件安装成功了

打开1.html，加载fileList.txt，点击开始

每2s弹出一个窗口此时会发送ajax请求

Java会将存储为文件