搜索引擎资源

admin管理员组

文章数量:1577818

转自：http://blog.csdn/hguisu/article/details/8024799

            http://blog.csdn/hguisu/article/details/7995703

1. 开源项目

1.Lucene全文检索系统

      http://lucene.apache和 http://www.lucene/

      Lucene是apache软件基金会4 jakarta项目组的一个子项目，是一个开放源代码的全文检索引擎工具包，即它不是一个完整的全文检索引擎，而是一个全文检索引擎的架构，提供了完整的查询引擎和索引引擎，部分文本分析引擎（英文与德文两种西方语言）。Lucene的目的是为软件开发人员提供一个简单易用的工具包，以方便的在目标系统中实现全文检索的功能，或者是以此为基础建立起完整的全文检索引擎。Lucene的原作者是Doug Cutting，他是一位资深全文索引/检索专家，曾经是V-Twin搜索引擎的主要开发者，后在Excite担任高级系统架构设计师，目前从事于一些Internet底层架构的研究。早先发布在作者自己的，他贡献出Lucene的目标是为各种中小型应用程式加入全文检索功能。2.Nutch系统

2.  Nutch系统

     http://www.nutch和http://www.nutchchina

     Nutch是个完整的开放源代码的搜索引擎，是个完备的应用程序。内部实现以Lucence为基础实现搜索引擎应用.
利用Nutch经过简单设置就可以建立自己的内部网的搜索引擎，也可以针对互联网建立搜索引擎，还可以与数据库结合检索索引。

3.Compass

      http://wwwwpassframework/

      Compass是在Lucence上实现的开源搜索引擎架构，提供更加简洁的搜索引擎API. 增加了索引事务处理的支持，能够更方便地与数据库等食物处理应用进行整合。更新时更加简单、更加高效，无需删除原文档。资源与搜索引擎之间采用映射机制，Compass还能与hibernate 、spring架构进行集成

4.Larbin系统

      http://larbin.sourceforge/

   　larbin是一种开源的网络爬虫/网络蜘蛛，由法国的年轻人Sébastien Ailleret独立开发，用c++语言实现。larbin目的是能够跟踪页面的url进行扩展的抓取，最后为搜索引擎提供广泛的数据来源。 Larbin只是一个爬虫，也就是说larbin只抓取网页，至于如何parse的事情则由用户自己完成。另外，如何存储到数据库以及建立索引的事情 larbin也不提供。

　　latbin最初的设计也是依据设计简单但是高度可配置性的原则，因此我们可以看到，一个简单的larbin的爬虫可以每天获取500万的网页，实在是非常高效。

　　利用larbin，我们可以轻易的获取/确定单个网站的所有联结，甚至可以镜像一个网站；也可以用它建立url 列表群，例如针对所有的网页进行 url retrive后，进行xml的联结的获取。或者是 mp3，或者定制larbin，可以作为搜索引擎的信息的来源。

 

5. Yioop! PHP 搜索引擎

       http://www.seekquarry/

       Yioop! 是一个 PHP 的搜索引擎，可用于 Web 的一般用途搜索，或者可提供URL搜索以及各种文档的索引搜索，包括：HTML, PDF, DOC, PPT, RTF, RSS, XML, SVG, PNG, JPG, BMP, GIF, 以及 sitemaps.

2、 研究网站

1,Google 黑板报 http://www.google.hk/ggblog/googlechinablog/

2,searchenginewatch大站。

-------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

搜索引起的链接分析-计算网页的重要性

1. 链接分析 

      搜索引擎在查找能够满足用户请求的网页时，主要考虑两方面的因素：

        网页和查询的相关性：是用户发出的查询与网页内容的内容相似性得分。

        网页的重要性：通过链接分析方法计算获得的得分。

        搜索引擎融合两者，共同拟合出相似性评分函数，来对搜索结果进行排序。

        常见的链接分析算法除了鼎鼎有名的PageRank，还有HITS、SALSA、Hilltop以及主题PageRank等等。需要重点理解的是PageRank和HITS，后面这些算法都是以它们为基础的。

        绝大部分链接分析算法建立在两个概念模型，它们是：

        随机游走模型：针对浏览网页用户行为建立的抽象概念模型，用户上网过程中会不断打开链接，在相互有链接指向的网页之间跳转，这是直接跳转，如果某个页面包含的所有链接用户都不感兴趣则可能会在浏览器中输入另外的网址，这是远程跳转。该模型就是对一个直接跳转和远程跳转两种用户浏览行为进行抽象的概念模型；典型的使用该模型的算法是PageRank；
        子集传播模型：基本思想是把互联网网页按照一定规则划分，分为两个甚至是多个子集合。其中某个子集合具有特殊性质，很多算法从这个具有特殊性质的子集合出发，给予子集合内网页初始权值，之后根据这个特殊子集合内网页和其他网页的链接关系，按照一定方式将权值传递到其他网页。典型的使用该模型的算法有HITS和Hilltop算法。

 

2. 链接分析算法之间的关系： 

          

                                         图1 链接分析算法关系图：

          链接算法很多，但是从其概念模型来说，基本遵循上述小节介绍的随机游走模型和子集传播模型。而从图1中可看出，在众多算法中，PageRank和HITS算法可以说是最重要的两个具有代表性的链接分析算法，后续的很多链接分析算法都是在这两个算法基础上衍生出来的改进算法。

本文标签： 搜索引擎资源