豆瓣电影top250数据采集与分析

摘  要：该项目以PyCharm为主要开发工具，数据库采用MySQL数据库，使用Scrapy框架来爬取豆瓣电影Top250数据，使用Beautiful Soup解析技术进行数据解析，存入MySQL数据库，使用NumPy，panda模块进行数据脱敏、清洗、分析、挖掘出有价值的信息，使用EChrats将数据可视化。此页面主要用于展示豆瓣电影top250排名变化、豆瓣电影top250评价人数排名变化、大众喜欢电影类型的变化、中国影迷对电影需求的变化。

关键词：电影分析  影视可视化

目 录

1 引言 1

1.1 课题的开发背景 1

1.2 课题现状与发展趋势 1

1.3 课题的可行性分析 1

2 项目目标和内容 2

2.1 目标 2

2.2 内容 2

3 开发环境以及工具和技术的介绍 3

3.1 项目开发环境 3

3.2 本项目应用的主要开发工具 4

3.2.1 PyCharm 4

3.2.2 MySQL 4

3.2.3 SQLyog 4

3.2.4 Python 5

3.3 主要技术介绍 5

3.3.1 HTML 5

3.3.2 java script 5

3.3.3 CSS 6

3.3.4 JSON数据传输 6

3.3.5 jQuery 6

3.3.6 Flask微服务器 7

3.3.7 PyMySQL 7

3.3.8 ECharts 7

4 项目概述 8

4.1 项目概述 8

4.2 项目模块和流程 8

4.3 项目进度安排 8

5 数据库设计 10

5.1 MySQL数据库设计命名规范 10

5.2 数据库表关系 10

6 项目实现 12

6.1 环境搭建 12

6.2 数据爬取 12

6.3 保存数据到数据库 15

6.4 数据清洗与数据分析 16

6.5 数据可视化生成ECharts图表 17

7 项目优化 21

8 总结与展望 22

致谢 23

参考文献 24