基于Web服务的异构数据集成设计
摘 要
企业对信息技术的应用经历了不同的阶段。各阶段的应用,无论是开发语言、部署平台、通信协议还是数据格式及架构都存在较大的差异,如何将企业内部的“信息孤岛”联系起来,实现信息的交互和共享,已成为实现企业战略目标的必需手段和捷径。
数据集成是企业应用集成的根基,决定着企业集成的成败。数据集成是将一个异构的,存在冲突的,分散的源数据抽取出来,进行相应的结构和数据转换后加载到目标系统中的过程。数据集成分为三个步骤:集成分析,数据分析,数据迁移。
本设计的内容是以湖南大学学生管理系统和公寓管理系统为例,分析系统数据来源及相互关系,总结公共信息模型,从而设计并实现整合后的数据仓库。本设计利用数据库和.NET Framework相关知识实现为源系统定制的ETL工具,将数据从源系统中提取出来,经过相应转换和清洗,最终加载到数据仓库;该工具拥有记录和显示数据加载的状态,导入导出状态文件,根据状态文件继续尚未完成的导库工作等功能。集成流程必须最优利用源系统,并对未来需求可扩展,因此本设计利用NHibernate实体映射解决数据仓库中数据字段和页面逻辑层数据绑定字段的冲突,以Web服务提供数据仓库中数据的管理,此为数据消费的过程,目的在于达成源系统数据实时更新和一致的目标。
关键字:数据集成;ETL;数据仓库;NHibernate实体映射
The Table of contents
1. Introduction 1
1.1 Thesis background 1
1.2 The research actualities between the domestic and abroad 2
1.3 The course points 3
1.4 The dissertation structure and research contents 3
2. Integration analysis and data analysis 5
2.1 Integration analysis 5
2.1.1 Overview 5
2.1.2 Integration requirement analysis 5
2.1.3 Integration design 7
2.2 Data analysis 8
2.2.1 Overview 8
2.2.2 Database design of source applications 9
2.2.3 Design of data warehouse 11
3. ETL 13
3.1 Overview 13
3.1.1 Concepts of ETL 13
3.1.2 Challenges facing to ETL 14
3.1.3 Related technologies about ETL 16
3.2 Data integration tool 16
3.2.1 Features of data integration tool 16
3.2.2 Design of data integration tool 17
3.2.3 Implementation 17
4. Implementation of data consumption 21
4.1 Requirements of data consumption 21
4.2 Architecture of integrated application 21
4.3 NHibernate OR mapping 22
4.3.1 Introduction to NHibernate 22
4.3.2 Application of NHibernate 23
4.4 Works presentation 25
4.5 Conclusion and prospect 26
Acknowledgments 28
References 29