c# 爬取优酷电影信息(1)

爬虫的制作主要分为三个方面1、加载网页结构2、解析网页结构，转变为符合需求的数据实体3、保存数据实体（数据库，文本等）

在实际的编码过程中，找到了一个好的类库“htmlagilitypack”。介绍：官网：html agility pack源码中的类大概有28个左右，其实不算一个很复杂的类库，但它的功能确不弱，为解析dom已经提供了足够强大的功能支持，可以跟jquery操作dom媲美)使用说明：html agility pack（xpath 定位）,在实际使用过程中，发现有部分内容如果通过css进行定位会比xpath更加方便，所以通过查找找到了另外一个css的解析了类库 scrapysharp（css 定位）

整理：nuget包需要引用的库1、html agility pack（xpath 定位）2、scrapysharp（css 定位）

代码下载地址：

github/happlyfox/foxcrawler

第一点——加载网页结构

html agility pack封装了加载内容的方法，使doc.load(arguments),具有多种重载方式，以下列举官网的三个实例

第二点——解析网页结构，转变为符合需求的数据实体第三点——保存数据实体，转变为符合需求的数据实体第四点——main

以上就是c# 爬取优酷电影信息(1)的详细内容，更多关于c# 爬取优酷电影信息的资料请关注其它相关文章！

• 0
• 0
• 0
• 0
• 0