搜索引擎索引系统的内涵

  我们都知道搜索引擎的主要工作过程包括：抓取、存储、页面分析、索引、检索等几个主要过程。抓取以亿为单位的网页库中查找特定的某些关键词犹如大海里面捞针，也许一定的时间内可以完成查找，但是用户等不起，从用户体验角度我们必须在毫秒级别给予用户满意的结果，否则用户只能流失。怎样才能达到这种要求呢？

    如果能知道用户查找的关键词都出现在哪些页面中，那么用户检索的处理过程即可以想象为包含了query中切词后不同部分的页面集合求交的过程，而检索即变成了页面名称之间的比较、求交。这样，在毫秒内以亿为单位的检索成为了可能。这就是通常所说的倒排索引及求交检索的过程。如下为建立倒排索引的基本过程：

   （1）页面分析的过程实际上是将原始页面的不同部分进行识别并标记。

   （2）分词的过程实际上包括了切词分词同义词转换同义词替换等等，以对某页面title分词为例，得到的将是这样的数据：term文本、termid、词类、词性等等。

   （3）之前的准备工作完成后，接下来即是建立倒排索引。

    只有每步有规划的进行才能带来想要的流量。

文章由履带式输送带 http://www.jinlongjidai.com/products-detail.asp?cpid=71整理发布，转载请注明出处：  

http://www.jinlongjidai.com/products-detail.asp?cpid=8

http://www.jinlongjidai.com/products-detail.asp?cpid=62