网页信息抽取模块研制-微机应用专业论文

摘  要

垂直搜索引擎和普通的网页搜索引擎的最大区别是垂直搜索引擎对网页信息进行了结构化信息抽取，因此信息抽取技术成为了构建垂直搜索引擎的核心技术。本文首先简介4种Web的信息抽取技术，然后结合Jtree和Xpath技术来实现动态网页信息抽取系统.

关键字：信息抽取；垂直搜索引擎；结构化信息提取；JTree；XPath

目  录

引 言 5

第一章 开发概述 6

1.1 研究背景和意义 6

第二章 Web信息抽取相关技术 7

2.1垂直搜索引擎中的信息抽取技术的选用 7

2.2 几种Web的信息抽取技术简介 7

2.3 JTidy简介 10

2.4 XHTML简介 11

第三章 系统分析与设计 12

3.1需求分析 12

3.2系统设计 12

3.2.1网页抓取功能 12

3.2.2 样本页转换成XHTML功能 12

3.2.3 XHTML转换成XML功能 13

3.2.4  XpathViewer解析器 13

3.2.5 XSLT解析器文件 13

3.2.6 提取信息 13

第四章 信息抽取系统的实现 14

4．1 解析页面并生成Jtree 14

4．2 抽取规则的生成算法生成 15

4．3 根据Xpath生成XSLT文件 17

第五章 试验 18

5.1 获取抽取页面并测试 18

总结 21

致谢 23

参考资料