Java爬虫之科目一题目

爬虫之科目一题目"/>

Java爬虫之科目一题目

用到的工具：

1、FastJson（JSON与Java对象进行转换）

2、Loombok（简化JavaBean的编写）

3、线程池（提高爬虫爬取效率，多线程执行任务）

4、批量提交执行SQL（减少与数据库的连接，可以批量插入数据）

5、Jsoup（一个基于Java开发的爬虫库）

建议使用Maven进行开发，以下是我用到的Pom文件：

        <!--MySQL--><dependency><groupId>mysql</groupId><artifactId>mysql-connector-java</artifactId><version>5.1.47</version></dependency><!--jsoup爬虫库--><dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.11.3</version></dependency><!--fastjson--><dependency><groupId>com.alibaba</groupId><artifactId>fastjson</artifactId><version>1.2.54</version></dependency><!--lombok--><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><version>1.18.4</version></dependency><dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><version>1.18.4</version></dependency>

实体类对象VO：QuestionVO

package drive;import com.alibaba.fastjson.annotation.JSONField;
import lombok.AllArgsConstructor;
import lombok.Data;
import lombok.NoArgsConstructor;import java.io.Serializable;/*** The type QuestionVO.** @author 小书包* @date 2018 /12/31 11:48*/
@Data
@AllArgsConstructor
@NoArgsConstructor
public class QuestionVO implements Serializable {/*** id : 2* question : 机动车驾驶人违法驾驶造成重大交通事故构成犯罪的，依法追究什么责任？* answerA : 刑事责任* answerB : 民事责任* answerC : 经济责任* answerD : 直接责任* correctAnswer : 1* imageUrl :* bestAnswer : 《道路交通安全法》第一百零一条：违反道路交通安全法律、法规的规定，发生重大交通事故，构成犯罪的，依法追究刑事责任，并由公安机关交通管理部门吊销机动车驾驶证。* bestAnswerId : 2600002* type : 2* sinaImg :*///id@JSONField(name = "id")private int id;//问题@JSONField(name = "question")private String question;@JSONField(name = "a")private String answerA;@JSONField(name = "b")private String answerB;