基于Golang的插件化实时监控数据采集系统

监控系统是各个领域一道安全保障，通过监控系统及时发现并预警，避免损失。对数据设备运行情况进行监控非常有必要，比如机房温度、服务器磁盘容量、CPU的使用率、网络IO等基础数据以及核心交易系统的业务数据。 要做到实时的数据监控，就需要设计一款可以实时采集监控数据的采集系统，不断地采集基础数据以及核心的交易数据推送给监控平台。如何快速高效的开发出具备高性能、部署简单的监控数据采集系统是设计中的关键。

使用Golang开发监控数据采集系统主要优势在于 Go语言具备Python解释型语言的开发效率，同时又有C/C++的运行性能，语言级别的协程完美支持，很适合作为数据采集的后端开发，部署也简单快速。

本文主要讲述基于Go语言去设计监控数据采集系统以及模块化的设计方案，可插件化的加载Python脚本、C/C++动态库用于兼容和方便二次开发数据采集功能。最后通过编码实现整个监控数据采集系统。测试阶段通过通用的监控平台配合监控数据采集系统演示完成数据采集并推送的功能。

关键词　监控平台、数据采集系统、Go语言、插件化

目录

摘要I

目录I

第1章 绪论2

1.1 项目背景及意义2

1.2 国内外现状分析2

1.2.1 国内外发展情况2

1.2.2 存在的问题4

1.3 Golang特性4

1.3.1 Go语言的发展4

1.3.2 Go语言的特点5

1.3.3 Go语言的优点5

1.4 论文内容及章节安排5

1.5 本章小结5

第2章 关键技术6

2.1 通信协议6

2.1.1 socket协议6

2.1.2 数据结构6

2.2 Go开发工具6

2.2.1 代码管理6

2.2.2 依赖管理6

2.3 Go设计模式7

2.4 Go协程8

2.5 Go与CGO8

2.5.1 Go调用C8

2.5.2 Go调用python9

2.6 插件化9

2.6.1 Golang插件9

2.6.2 C动态库插件9

2.6.3 Python插件9

2.7 本章小结10

第3章 需求分析和总体设计11

3.1 总体需求11

3.2 系统实现目标11

3.3 功能模块划分11

3.4 总体设计11

3.5 本章小结12

第4章 详细的设计与实现13

4.1 Go开发环境13

4.1.1 Go语言环境变量13

4.1.2 Go语言在windows上安装13

4.1.3 Go语言在linux上安装13

4.2 监控采集系统架构设计14

4.3 核心模块的设计与实现15

4.3.1 消息队列、消息流转15

4.3.2 功能号函数映射表16

4.3.3 协程的创建17

4.4 插件化功能的设计与实现18

4.4.1 动态加载C/C++库18

4.4.2 动态加载python模块19

4.5 基础信息采集模块19

4.6 日志信息采集模块19

4.7 管理模块的设计与实现20

4.7.1 系统协程状态管理20

4.8 Log模块的设计与实现21

4.8.1 日志按照模块大小分片21

4.8.2 日志定期自动清理21

4.8.3 日志模块自动打包备份21

4.9 本章小结21

第5章 系统测试22

5.1 基础信息采集模块测试22

5.1.1 cpu数据采集测试22

5.1.2 内存数据采集测试23

5.1.3 磁盘信息数据测试23

5.1.4 进程信息数据采集23

5.1.5 网络数据采集测试24

5.1.6 基础信息监控总览数据验证24

5.2 日志信息采集模块测试25

5.2.1 Windows日志信息采集25

5.2.2 应用程序日志采集测试25

5.3 管理模块测试26

5.3.1 系统状态验证26

5.3.2 系统加载模块验证26

5.4 本章小结27

第6章 总结与展望28

6.1 总结28

6.2 展望28

参考文献29

致谢30