搜索引擎原理中,给网页建立索引是一个很重要的工作,它预示着该网页已经得到搜索引擎的认可,有可能出现在搜索结果页面中,任何没有进入索引网页库的网页,都不可能出现在基于关键词查询的搜索结果页面中,而我们常说的索引网页库又是由网页索引文件和URL索引文件组成的。

索引网页库的组成

索引网页库的组成

索引网页库和网页数据库一样要存储海量的信息,因此在实际应用中,索引网页库也需要选择合理的数据结构,确保有紧凑的数据结构和高效的检索能力。

下面可以看看天网搜索引擎的网页索引文件和URL索引文件是什么样子的:

1、网页索引文件

网页索引文件

2、URL索引文件

URL索引文件

小结

有了索引网页库,搜索引擎才可以实现对某个特定的URL进行高效的定位,除此之外,搜索引擎还要对网页进行分词,然后建立关键词到网页的关系,该部分黄聪会在《3.1.2、搜集信息的预处理—中文分词技术》进行讲解。