使用java+WebMagic实现电影资源链接爬取

电影资源链接爬取"/>

使用java+WebMagic实现电影资源链接爬取

1、首先百度搜索webmagic网站，网址如下：.7.3

2、接下来下载webmagic-0.7.3-all.tar.gz 压缩包解压

3、创建一个项目，在项目中创建一个lib文件夹，将WebMagic中的jar包复制到lib文件夹里面，选取所有的jar包（按下shift可以全选），右键->build path,然后创建一个class 文件，具体执行代码如下：

package test20190428;import java.util.ArrayList;
import java.util.Iterator;
import java.util.List;
import java.util.Set;
import java.util.TreeSet;import us.codecraft.webmagic.Page;
import us.codecraft.webmagic.Site;
import us.codecraft.webmagic.Spider;
import us.codecraft.webmagic.processor.PageProcessor;/** 使用WebMagic，不要忘记导包：最新版：WebMagic-0.7.3* test:爬取最大资源网中所有电影网址* */
public class Mo