化工生产中异常数据处理

化工生产中异常数据处理

摘 要：本论文面向实际化工生产过程的软测量技术，融合了大量的现场观测数据，其中的任一异常数据（野值）的出现都可能导致模型的预测效果下降，甚至完全失败，因此对测量数据进行预处理非常重要。以延迟焦化过程焦炭产率软测量模型为例，考虑以多变量的聚类分析为异常样本数据的识别方法，进行识别异常样本数据并解释这些异常样本对后继建模结果的影响。

本文首先总结、探讨关于数据挖掘、离群点分析、聚类算法方面取得的已有主要研究成果。并详细介绍了基于密度的聚类算法和神经网络，并结合延迟焦化过程焦炭产率软测量模型，对原数据做成分分析和神经网络，再对处理过的数据进行成分分析和神经网络分析，并对它们进行比较。

关键词：聚类分析；离群点；异常数据；

目  录

中文摘要 I

英文摘要 II

目  录 III

1  绪论 1

1.1  课题背景 1

1.2  课题研究的目的和意义 1

1.3 数据挖掘研究现状 2

2  异常数据处理方法 5

2.1  数据挖掘 5

2.2  数据挖掘的方法和技术 6

2.2.1  数据挖掘的方法 6

2.2.2  数据挖掘的技术 7

2.3  聚类方法 8

2.3.1  划分方法 9

2.3.2  层次方法 10

2.3.3  基于网格的方法 12

2.3.4  基于模型的方法 13

2.3.5  基于密度的方法 15

2.4 离群点的识别方法 16

3  PCA和神经网络的应用 19

3.1  主成分分析(PCA)介绍 19

3.1.1  主成分分析的数学模型 19

3.1.2  主成分的几何意义 20

3.1.3  主成分的推导 20

3.1.4  样本主成分的导出 21

3.2  延迟焦化模型 21

3.2.1  模型假设 22

3.3  数据处理 23

3.4 结果与讨论 28

4  总结与展望 29

致  谢 30

参考文献 31