基于Lucene框架的搜索引擎算法研究

随着Internet技术的迅速发展，网络提供给人们的信息量越来越大。搜索引擎作为人们在网上查找、获取信息的重要手段之一，在各个领域都已得到了广泛的应用。目前定制和维护搜索引擎的需求越来越大，对于处理庞大的网络数据，如何有效的去存储它并访问到我们需要的信息，变得尤为重要。Web搜索引擎能有很好的帮助我们解决这一问题。本文阐述了一个简易搜索引擎的原理及其设计和实现过程。本文首先介绍了课题研究背景，然后对系统涉及到的理论知识，框架的相关理论做了详细说明，最后按照软件工程的开发方法逐步实现系统功能。

关键词：搜索引擎；设计；实现

目    录

摘要1

第1章 研究背景与意义1

第2章 网页相似度度量问题描述2

2.1概述2

2.2系统结构2

2.2.1爬虫2

2.2.2信息处理2

2.2.3排序和索引3

2.2.4搜索3

2.3搜索引擎主要指标及分析3

第3章 网页相似度度量算法介绍4

3.1  信息检索系统简介4

3.2 信息检索的过程4

检索的整个过程包括：构建文本库，建立索引，进行检索。4

3.3  Lucene4

3.3.1Lucene结构分析5

3.3.2  Lucene索引的建立5

3.3.3  Lucene的搜索6

3.3.4  中文分词6

第4章 仿真实验与分析8

4.1系统功能图8

4.2系统实体设计8

4.2.1实体8

4.2.2实体的属性9

4.2.3实体间的联系10

4.3系统实现10

4.3.1系统需要的环境10

4.3.2系统中Nutch的配置10

4.3.3对整个网络进行抓取11

4.3.4Solr安装配置和使用15

4.3.5给Solr 4.2添加mmseg4j15

4.3.6客户端应用程序的实现17

第5章 总结与展望24

5.1总结24

5.2展望24

参考文献27