双十一数据可视化

摘  要：近几年随着一个热词”双十一”的出现，改变了大多数人的消费习惯，并且这几年的热潮都是只增不减,为了能更加直观地了解到双十一背后产生的数据，采用Python的数据分析和处理功能，通过Python爬虫技术爬取大量信息。按照删除有空值的信息、与双十一数据无关、信息错位的数据清洗方法，对数据进行预处理，然后将清洗后的数据存入mysql数据库，再利用echarts对数据进行可视化分析，用Flask作为Web框架开发Web应用程序，将可视化的数据展示在网页，提高了用户获取信息的速度。

 

关键词：flask python echarts mysql 数据可视化 Web框架

目 录

1 引言1

1.1 课题的研究背景及意义1

1.2 课题现状及发展趋势1

1.3 课题的可行性分析2

2 项目概述3

2.1 项目目标和内容3

2.2 项目性能需求3

2.3 项目模块和流程4

2.4 项目进度安排5

3 开发环境以及工具和技术的介绍6

3.1 项目开发环境6

3.2 主要开发工具介绍7

3.3 主要技术介绍8

3.3.1 CSS8

3.3.2 Python核心编程8

3.3.3 HTML9

3.3.4 AJAX9

3.3.5 Flask微服务器9

3.3.6 PyMySQL10

3.3.7 Echarts10

4 数据库设计11

4.1 MySQL数据库设计命名规范11

4.2 数据库表关系11

5 项目实现13

5.1 环境搭建13

5.2 数据爬取13

5.2.1 爬取热搜数据13

5.2.2 爬取双十一各省排名数据14

5.2.3 爬取近7年双十一销售额、参与品牌数数据16

5.2.4 爬取双十一各平台消费占比数据17

5.3 保存数据到数据库17

5.4 读取数据前后端结合ECharts生成图表21

6 项目优化25

6.1 HTML页面美化与整理25

7 总结与展望28

致谢29

参考文献30