admin管理员组文章数量:1567250
2024年3月30日发(作者:)
SEO实战密码:搜索引擎工作原理三个阶段简介
搜索引擎工作过程非常复杂,接下来的几节我们简单介绍搜索引擎是怎样实现网
页排名的。这里介绍的内容相对于真正的搜索引擎技术来说只是皮毛,不过对
SEO人员已经足够用了。
搜索引擎的工作过程大体上可以分成三个阶段。
(1)爬行和抓取:搜索引擎蜘蛛通过跟踪链接访问网页,获得页面HTML代码存
入数据库。
(2)预处理:索引程序对抓取来的页面数据进行文字提取、中文分词、索引等
处理,以备排名程序调用。
(3)排名:用户输入关键词后,排名程序调用索引库数据,计算相关性,然后
按一定格式生成搜索结果页面。
爬行和抓取
爬行和抓取是搜索引擎工作的第一步,完成数据收集的任务。
1.蜘蛛
搜索引擎用来爬行和访问页面的程序被称为蜘蛛(spider),也称为机器人(bot)。
搜索引擎蜘蛛访问网站页面时类似于普通用户使用的浏览器。蜘蛛程序发出页面
访问请求后,服务器返回HTML代码,蜘蛛程序把收到的代码存入原始页面数据
库。搜索引擎为了提高爬行和抓取速度,都使用多个蜘蛛并发分布爬行。
蜘蛛访问任何一个网站时,都会先访问网站根目录下的文件。如果
文件禁止搜索引擎抓取某些文件或目录,蜘蛛将遵守协议,不抓取
被禁止的网址。
和浏览器一样,搜索引擎蜘蛛也有标明自己身份的代理名称,站长可以在日志文
件中看到搜索引擎的特定代理名称,从而辨识搜索引擎蜘蛛。下面列出常见的搜
索引擎蜘蛛名称:
· Baiduspider+(+/search/) 百度蜘蛛
· Mozilla/5.0 (compatible; Yahoo! Slurp China; .c
/) 雅虎中国蜘蛛
· Mozilla/5.0 (compatible; Yahoo! Slurp/3.0;
/help/us/ysearch/slurp) 英文雅虎蜘蛛
· Mozilla/5.0 (compatible; Googlebot/2.1; +/bo
) Google蜘蛛
· msnbot/1.1 (+/) 微软 Bing蜘蛛
· Sogou+web+robot+
(+/docs/help/#07)搜狗蜘蛛
· Sosospider+(+/) 搜搜蜘蛛
· Mozilla/5.0 (compatible; YodaoBot/1.0; /help/
webmaster/spider/; ) 有道蜘蛛
2.跟踪链接
为了抓取网上尽量多的页面,搜索引擎蜘蛛会跟踪页面上的链接,从一个页面爬
到下一个页面,就好像蜘蛛在蜘蛛网上爬行那样,这也就是搜索引擎蜘蛛这个名
称的由来。
整个互联网是由相互链接的网站及页面组成的。从理论上说,蜘蛛从任何一个页
面出发,顺着链接都可以爬行到网上的所有页面。当然,由于网站及页面链接结
构异常复杂,蜘蛛需要采取一定的爬行策略才能遍历网上所有页面。
最简单的爬行遍历策略分为两种,一种是深度优先,另一种是广度优先。
所谓深度优先,指的是蜘蛛沿着发现的链接一直向前爬行,直到前面再也没有其
他链接,然后返回到第一个页面,沿着另一个链接再一直往前爬行。
如图2-20所示,蜘蛛跟踪链接,从A页面爬行到A1,A2,A3,A4,到A4页面
后,已经没有其他链接可以跟踪就返回A页面,顺着页面上的另一个链接,爬行
到B1,B2,B3,B4。在深度优先策略中,蜘蛛一直爬到无法再向前,才返回爬
另一条线。
广度优先是指蜘蛛在一个页面上发现多个链接时,不是顺着一个链接一直向前,
而是把页面上所有第一层链接都爬一遍,然后再沿着第二层页面上发现的链接爬
向第三层页面。
如图2-21所示,蜘蛛从A页面顺着链接爬行到A1,B1,C1页面,直到A页面上
的所有链接都爬行完,然后再从A1页面发现的下一层链接,爬行到A2,A3,
A4,„„页面。
版权声明:本文标题:SEO实战密码:搜索引擎工作原理三个阶段简介 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/dongtai/1711770018a326608.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论