A股上市公司大数据分析

摘  要：本课题选取的数据集为A股上市公司股票的数据。数据中包括了序号、股票代码、股票名称、股票简称、公司名称、省份、城市、主营业收入、净利润、员工人数、上市公司等信息。将数据进行可视化的主要目的是能够清晰地展示上市公司综合收益，采用不同的可视化图表对数据进行分析，从而预测A股上市公司未来趋势。

该可视化项目开发主要采用了Pycharm、CSS+DIV、java script+jQuery、MySQL提取等技术。并能够进行基本的交互。运用MySQL工具将数据集存储，并利用关键字提取出数据。在python制作的交互界面中，分别展示了统计净利润的柱状图、统计每年收入情况的折现图和A股上市公司地区分布比例的饼图。通过A股上市公司大数据分析，可以让大众直观了解一下A股市场信息。

关键词：上市公司 Pycharm MySQL 

目 录

1 引言 1

1.1 课题研究背景及意义 1

1.2 课题现状与发展趋势 1

1.3 可行性分析 1

2 项目目标与内容 2

2.1 目标和内容 2

2.2 相关任务 2

3 开发环境以及工具和技术的介绍 3

3.1 Windows10 3

3.2 主要开发工具介绍 3

3.2.1 Pycharm 3

3.2.2 MySQL 4

3.2.3 SQLyag 4

3.2.4 Python3.7 5

3.3 主要技术介绍 5

3.3.1 HTML 5

3.3.2 java script 6

3.3.3 CSS 6

3.3.4 Python核心编程 6

3.3.5 JSON数据传输 6

3.3.6 AJAX 7

3.3.7 jQuery 7

3.3.8 Flask微服务器 8

3.3.9 PymySQL 8

3.3.10 HTTP协议 8

3.3.11 Requests/Scripy 8

3.3.12 Echarts 9

3.3.13 Numpy 9

3.3.14 Pandas 9

4 项目分析 10

4.1 项目概述 10

4.2 项目性能需求 10

4.3 项目模块和流程 10

4.3.1 项目模块 10

4.3.2 项目流程 11

4.4 项目进度安排 11

5 数据库设计 12

5.1 MySQL数据库设计命名规范 12

5.2 数据库结构 12

6 项目实现 14

6.1 环境搭建 14

6.2 数据爬取 14

6.2.1 爬虫原理 14

6.2.2 爬虫http请求方式 15

6.2.3 分析网站 15

6.2.4 爬网页源码 17

6.3 数据分析与数据清洗 19

6.3.1 爬虫解析方式 19

6.3.2 数据清洗 24

6.4 保存数据到数据库 28

6.4.1 保存csv文件 28

6.4.2 csv文件另存为Excel文件 29

6.4.3 MySQL数据库导入Excel文件 31

6.5 读取数据前后端结合ECharts产生图表 32

6.5.1 连接数据库 33

6.5.2 制作ECharts图表 34

7 项目优化 41

7.1 HTML页面美化与整理 41

8 总结和展望 43

致谢 44

参考文献 45