webmagic + chromeDriver 下一页

在爬网站的时候，下一页的点击事件是调用js函数的

无法直接由regex获取到urls

1.在PageProcessor.java中增加判断当前页面的url是否符合点击下一页，如果符合则将该页面的url添加到request，增加额外参数标记到request，再次爬取；

2.修改SeleniumDownloader.java的downLoad方法：（在打开页面之后，将内容添加进page之前增加代码）

@Override
public Page download(Request request, Task task) {
    //打开页面操作
    .......

    String needClick =  (String) request.getExtra("_needClick");
		if(null != needClick && !"".equals(needClick)){
			logger.info(request.getUrl()+"的事件："+needClick);
			WebElement clickBtn = webDriver.findElement(By.linkText(needClick));
			clickBtn.click();
			try {
				Thread.sleep(sleepTime);
			} catch (InterruptedException e) {
				e.printStackTrace();
			}

		}
        //如果点击下一页后url有变化，需要更改request中的url，不然会重复打开第一页，点击下一页
		String curUrl = webDriver.getCurrentUrl();
		String reqUrl = request.getUrl();
		if(!reqUrl.equals(curUrl)){
			logger.info("当前driver的url为："+curUrl);
			logger.info("当前request的url为："+reqUrl);
			reqUrl=curUrl;
    }
    
    //将页面添加进page操作
    ......
    page.setUrl(new PlainText(reqUrl));
    ......
}