Java教程之使用Jsoup实现简单的爬虫技术

　　1.Jsoup简述

　　​ Java中支持的爬虫框架有很多，比如WebMagic、Spider、Jsoup等。今天我们使用Jsoup来实现一个简单的爬虫程序。

　　​ Jsoup拥有十分方便的api来处理html文档，比如参考了DOM对象的文档遍历方法，参考了CSS选择器的用法等等，因此我们可以使用Jsoup快速地掌握爬取页面数据的技巧。

　　2.快速开始

　　1)编写HTML页面

Java培训.jpg" width="500" height="489" style="border-width: initial; border-style: none; vertical-align: top; display: inline-block;">

　　页面中表格的商品信息是我们要爬取的数据。其中属性pname类的商品名称，以及属于pimg类的商品图片。

　　2)使用HttpClient读取HTML页面

　　HttpClient是一个处理Http协议数据的工具，使用它可以将HTML页面作为输入流读进java程序中。可以从http://hc.apache/下载HttpClient的jar包。

Java培训.jpg" width="500" height="252" style="border-width: initial; border-style: none; vertical-align: top; display: inline-block;">

　　3)使用Jsoup解析html字符串

　　通过引入Jsoup工具，直接调用parse方法来解析一个描述html页面内容的字符串来获得一个Document对象。该Document对象以操作DOM树的方式来获得html页面上指定的内容。相关API可以参考Jsoup官方文档：https://jsoup/cookbook/

　　下面我们使用Jsoup来获取上述html中指定的商品名称和价格的信息。

Java培训.jpg" width="500" height="228" style="border-width: initial; border-style: none; vertical-align: top; display: inline-block;">

　　至此，我们已经实现使用HttpClient+Jsoup爬取HTML页面数据的功能。接下来，我们让效果更直观一些，比如将爬取的数据存到数据库中，将图片存到服务器上。

　　3.保存爬取的页面数据

　　1)保存普通数据到数据库中

　　将爬取的数据封装进实体Bean中，并存到数据库内。

Java培训.jpg" width="500" height="381" style="border-width: initial; border-style: none; vertical-align: top; display: inline-block;">

　　2)保存图片到服务器上

　　直接通过下载图片的方式将图片保存到服务器本地。

Java培训.jpg" width="500" height="502" style="border-width: initial; border-style: none; vertical-align: top; display: inline-block;">

　　4.总结

　　本案简单实现了使用HttpClient+Jsoup爬取网络数据，对于爬虫技术本身，还有很多值得深挖的地方，以后再为大家讲解。

　　千锋成都Java培训作为国内IT研发人才一体化服务的开拓者，为学生制定合理有序的学习计划，0学费入学，2周免费试听不满意不收费，与学员签订就业协议，坚持良心面授，从千锋Java培训班出去的学员均已高薪就业。千锋推出的免费java视频教程，让学员能够方面的巩固基础技术能力。