豆瓣top250影片爬取信息和数据可视化沉默的Pluto

②豆瓣top250电影评价人数统计柱状图

③Top250电影导演作品数top10统计柱状图

⑤Top250电影类型数量占比饼图

⑥Top250影片作品评分折线图

⑦Top250影片华语电影类型数量圆形图

⑧Top250影片作品上映年份统计柱状图

⑨2000年top250影片上映类型统计环形图

⑩Top250影片优秀演员参演统计漏斗图

Top250影片词云图

2019年评分最高华语电影top73D分析图

1.3项目采用的技术栈

使用软件:VisualStudioCode、JetBrainsPyCharm

采用技术:pyecharts、MongoDB、python第三方库

1.4项目借鉴源代码的地址

1.5团队成员任务分配表

陈佳萍

对爬取到的top250影片信息,实现top10导演作品数量、华语电影类别比重、统计2000年上映影片类型比重,并绘制环形图、top250影片作品评分折线图

吴琳琳

将豆瓣top250数据爬取信息并保存在Mongodb中、分析豆瓣top250电影类型数量占比、top20电影评分柱状图、以及上映年份统计图

肖茹云

豆瓣评价人数top20电影、生成华语前七星级获分对比三维柱状图、生成词云图

二、项目的需求分析

针对影视作品越来越多,层次不穷,通过对豆瓣top250影片爬取和分析,更加直观选择观看影片。

三、项目功能架构图、主要功能流程图

1.1功能架构图

图1功能架构图

1.2主要功能流程图

图2爬虫爬取

图3top10导演

图4三维柱形图

图5词云图

四、系统模块说明

1.1系统模块列表

图6项目结构图

1.2各模块详细描述(名称,功能,运行截图,关键源代码)

1、mvtop250.py:实现对豆瓣top250的影片信息爬取

1)构建递归循环,逐页爬取

2)建立Mongodb连接,用于数据保存

defget_movie_list(url,headers):

#实例化soup对象,便于处理

soup=requests.get(url,headers=headers)#向网站发起请求,并获取响应对象

response=BeautifulSoup(soup.text,'lxml')#利用xmlhtml解析器,具有容错功能

lists=response.select('div.info')

#循环获取信息

forlistinlists:

#获取影片名称

name=list.select('div.hd.title')[0].text

#导演及主演

type_list=list.select('div.bdp')[0].text.strip('').split('...')[-1].replace('','').split('/')

year=type_list[0]

#国家

country=type_list[1]

#影片所属类别

category=type_list[2]

#获取影片评分

star=list.select('div.bd.star.rating_num')[0].text.replace('','')

#获取引述

quote=list.select('div.bd.quote')[0].text

people_num=list.select('div.bd.starspan:nth-of-type(4)')[0].text.split('人')[0]

get_detail_movie(sing_url,name,year,country,category,star,quote,people_num,headers)

4)抓取top250电影的执导导演、参演演员,并保存数据到mongodb中

我们将获取到影片信息数据保存到数据库中,以便后面对数据的分析,效果如下:

2、Top250影片华语电影类型数量

效果如下:

3、top10导演.py:对爬取到的信息进行分类整理,统计作品数前10的导演,以及数据可视化

1)统计所有导演数量

2)统计作品数前10导演

3)绘制柱状图

4)效果如下

4、2000年上映影片类型比重

1)统计和提取2000年上映影片数量类型与华语上映电影类型相同,

2)绘制环形图

2)绘制柱状图

2)豆瓣top20评分情况

6、yanyuan.py:分析优秀演员参演作品数量

1)对获取到的演员列表进行分析

2)绘制漏斗图

7、作品上映年份统计以及折线图

1)作品上映年份统计

2)作品与评分折线图

根据爬取到的豆瓣影片信息生成的csv中读取数据生成折线图

8、top250影片词云图以及2019年评分最高华语电影top73D分析图

1)根据爬取到的豆瓣影片信息生成的csv中读取数据生成词云图

2)2019年评分最高华语电影top73D分析图

五、项目总结

5.1特点

利用不同的技术,实现爬取,数据保存,数据可视化。使用mongodb存放数据,利用pyecharts包实现数据可视化。使用render()渲染生成html文件后,创建index文件将所有渲染的html文件进行连接。

在原有的基础上,添加top250影片中华语上映影片类型数量圆形图、2000年上映影片类型数量环形图、top250上映影片年份统计图以及影片作品评分折线图、top250中评分top20影片柱状图;

同时新增2019年评分最高华语电影top73D分析图。

5.2不足之处

1.爬取数据数量有限。2.数据量大,爬取速度慢。3.无法识别链接重要程度,不能判断网页数据的价值程度。4.使用Mongodb作为数据存储,而不是用MySQL

5.在设计生成年份统计图中,x轴的年份参数出现重复值,并且图形超出x轴;在设计折线图中,由于数量过多,x轴数量挤在一起,影响可读性。

THE END
1.福彩3D走势图表首页开奖公告乐币点播专家排行彩票资讯福彩3D双色球快乐8七乐彩排列3大乐透排列57星彩学习彩票走势图工具访问本站表明您同意:本站提供的资料和数据仅供您参考,请您在使用前核实并慎重对待,因此受到的任何损失https://tools.17500.cn/tb/3d/
2.3D均值走势图3D走势图独胆(三期计划):22中21 东山飞雪福彩3D-(325期~327期) 上期中 独胆11中10,天意本如此 报喜看胆福彩3D-326期 上期中 独胆9连对 长虹饮涧福彩3D-上期中 独胆10中8,财富从胆来 墨色天香福彩3D-326期 上期中 独胆9中8,来了就进吧,不后悔 繁华叶茂福彩3D-326期 参数说明 福彩3D均值走势图主要https://wap.ssqzj.com/zst/cjw3d/3d_weishu-jz.html
3.数据分析图图片免费下载数据分析图素材数据分析图模板千图网为您找到2962张数据分析图相关素材,千图网还提供数据分析图图片,数据分析图素材, 数据分析图模板等免费下载服务,千图网是国内专业创意营销服务交易平台,一站式解决企业营销数字化、协同化,实现营销转化效果增长!https://www.58pic.com/tupian/shujufenxitu.html
4.3d数据分析图表图片3d数据分析图表图片素材免费下载千库网为设计者提供3d数据分析图表素材大全,为您省却3d数据分析图表图片素材搜索时间,这里有海量3d数据分析图表素材图片供您下载使用,本次搜索千库网为您找到10000张素材https://588ku.com/image/3dshujufenxitubiao.html
5.3d怎么看走势图和分析数据帆软数字化转型知识库3D走势图和分析数据主要通过以下几种方式:观察历史数据、寻找数据规律、使用专业工具、结合经验判断。首先,通过观察历史数据,可以找到一些出现频率较高的号码和组合,这有助于提高预测的准确性。例如,如果某个号码在过去10期内出现了3次,那么它在接下来的几期内再次出现的可能性就会较高。通过这种方式,可以初步筛选出https://www.fanruan.com/blog/article/455650/
6.高德地图吊打百度个性地图更新版,成为最佳分析图利器本文介绍了高德地图开放平台和百度个性地图的最新功能,包括自定义地图样式、图层编辑、3D地图、数据分析和配色方案。高德地图支持在线3D地图编辑、纹理拼贴以及数据分析图的生成,而百度地图提供了多种地图样式模板和一键配色功能,便于用户快速制作区位分析图。此外,还分享了如何在两个平台上关闭文字标注和提取地图元素的方法https://blog.csdn.net/weixin_39694016/article/details/112719221
7.在WPSExcel如何制作数据分析图的?打开想要制作透的数据源,用数据透视表一般是数据量大并且数式规范,需要汇总,可能还要随时做出变更调整https://www.3d66.com/answers/question_1319776.html
8.数据可视化3D热力图热力图分析工具数据可视化 3D热力图 热力图分析工具,在做AGV路径规划或人员路径规划时,如果配套热力图,是可以非常方便的分析出相应位置的热点情况,决策人员可以更加方便的确定方案修改思路,比如下图可以非常清晰地看到AGV的停顿位置和路口的使用情况。较早之前,波哥开发了热力图工具https://blog.51cto.com/u_16213594/8469518
9.广东福彩网――数据分析――3D――大小走势图3D数据分析 查看 期数据表 号码表 百位数 十位数 个位数 组选大小 单选大小 期号 开奖号 和 跨 小 大 小 大 小 大 A B C D 0 1 2 3 4 5 6 7 2024310 6 0 3 9 6 1 D X 1 X 1 1 1 C 1 1 1 1 3 1 1 1 1 2024309 5 3 9 17 6 2 D X 2 1 D 2 B 1 2 2 2 2 1http://www.gdfc.org.cn/sjfx/dxzs100.html
10.上升曲线与数据分析概念3D渲染图片下载觅知网提供上升曲线与数据分析概念3D渲染原创图片下载,图片可用做设计、配图、壁纸等场景使用,作品编号:7814850,尺寸为8000*5000像素,格式为jpg。更多3D,,K线,,K线图,,上升,,上涨,,云技术,,云计算,,互联网,,价格,,信息,,信息技术,,分析,,办公,,升值,,增值,,增长,,投资,,插画,,收入,,收益,等图片,尽在觅https://www.51miz.com/tupian/7814850.html
11.C4D立体3D手机金融ui数据分析动图gif图片潮国创意提供C4D立体3D手机金融ui数据分析动图gif图片下载,图片格式Array,图片尺寸2000*2000,C4D立体3D手机金融ui数据分析动图gif图片素材可以用于商业用途,下载潮流创意图片就到潮国创意。https://chaopx.com/detail/T24716610.html
12.用于大规模图像分析和机器视觉的GeoAI当研究人员的研究涉及数据挖掘、机器学习和深度学习(人工智能的最新进展)时,研究人员经常使用这个术语。在这里,我们将 GeoAI 定义为一个新的跨学科研究领域,该领域利用地理空间大数据利用和开发基于位置的分析人工智能。图1描绘了 GeoAI 的大图。它将人工智能研究与地理学相结合,地理学是地方和空间的科学。如果我们同意https://www.victorlamp.com/article/7387260962
13.金色3D饼状图背景的数据分析PPT模板这是一份炫目的数据分析数据统计类PPT模板,第一PPT模板网,提供幻灯片模板免费下载; 幻灯片模板橙色与黄色的渐变作为背景,一个金属质感的3D立体饼状图模型作为PPT背景图片。给人高端大气的感觉; 本PPT模板适合用于制作与金融、财务相关的幻灯片。以及数据分析、数据统计PPT; 关键词:黄色、金色PPT背景,3d立体幻灯片https://www.1ppt.com/article/16939.html
14.FC3D基本走势图彩浪数据免费为彩民提供FC3D-基本-最大可选最新[500期]走势图(横向为号码-纵向为期号-由FC3DKJ号码绘制而成)https://www.cl8c.com/chart/fc3d/11.html
15.绘图软件设计准则是什么绘图工具软件有哪些→MAIGOO知识流程/数据分析图绘图 1、VISIO Office Visio 是office软件系列中的负责绘制流程图和示意图的软件,是一款便于IT和商务人员就复杂信息、系统和流程进行可视化处理、分析和交流的软件。使用具有专业外观的 Office Visio 图表,可以促进对系统和流程的了解,深入了解复杂信息并利用这些知识做出更好的业务决策。 https://www.maigoo.com/goomai/158397.html
16.想看福彩3D的和值图吗?这里有详细的走势图给你参考!福彩3d走势图福彩3d走势图完整版新浪 福彩3D走势图完整版新浪是一个专为福彩3D彩票迷设计的数据分析工具。该走势图提供了详细的历史开奖数据,直观展示了各个号码的出现频率、冷热趋势及遗漏情况,帮助彩民更好地把握选号策略。用户可以通过走势图直观地观察到近期热门号码和冷门号码,为下注提供参考依据。该平台还更新及时,确保用户获取http://www.hljmx.net/ceping/3803.shtml
17.人类肿瘤图谱网络:以单细胞分辨率描绘肿瘤的跨时空转变表1: 构建肿瘤3D图谱的工具箱 数据分析和图谱建立 计算分析是HTAN肿瘤图谱构建的基本组成部分,可反复指导研究和实验设计。HTAN的研究员将采用计算方法绘制细胞和空间剖面图,以及多尺度的组织学和解剖结构。他们进一步将这些数据与临床数据整合,以生成一个广泛可访问并可由科学界动态查询的连贯图谱。HTAN的研究员还将https://www.cn-healthcare.com/articlewm/20210122/content-1183234.html
18.福彩3D走势图带连线福彩3D基本走势带坐标500网 客服热线:4000-500-353 选择彩种 超级大乐透 福彩3D:基本走势最近30期最近50期最近100期期 至期 标注形式选择:不带遗漏数据带折线 日期期号开奖号码百位十位个位不分位 0123456789012345678901234567890123456789 2024-11-0620242973721810173521112171614913463781016221532512212816123321717 https://datachart.500.com/sd/
19.数据可视化几种工具分析4、 其他:支持飞线图/水位图/轮播表/ DataFocus DataFocus是一个不开源的数据可视化工具,DataFocus在数据分析上,是首个采用自然语言进行数据分析的工具,能够系统智能适配图表,DataFocus拥有20多种图表,数据可视化大屏支持自定义配置。 DataFocus大屏示例 https://www.jianshu.com/p/c8db75414ef5