Python爬虫之自动爬取某车之家各车销售数据python

为了演示方式,大家可以直接打开上面这个网址,然后拖到全部口碑位置,找到我们本次采集需要的字段如下图所示:

采集字段

我们进行翻页发现,浏览器网址发生了变化,大家可以对下如下几页的网址找出规律:

通过简单的测试,发现似乎不存在反爬,那就简单了。

我们先引入需要用到的库:

importrequestsimportpandasaspdimporthtmlfromlxmlimportetreeimportre然后创建一个数据请求的函数备用:

由于需要进行翻页,这里我们可以先通过re正则表达式获取总页码。通过查看网页数据,我们发现总页码可以通过如下方式获取:

try:pages=int(re.findall(r'共(\d+)页',r)[0])#如果请求不到页数,则表示该车型下没有口碑数据except:print(f'{name}没有数据!')continue

总页码采集

关于待采集字段信息,我们发现都在节点div[@class="mouthcon-cont-left"]里,可以先定位这个节点数据,然后再进行逐一解析。

待采集字段信息所在节点

此外,我们发现每一页最多15个车型口碑数据,因此我们每页可以定位15个待采集信息数据集,遍历采集代码:

由于没啥反爬,这里直接将采集到的数据转化为pandas.DataFrame类型,然后存储为xlsx文件即可。

整个爬虫过程比较简单,采集下来的数据也比较规范,以本文案例奥迪Q5L示例如下:

THE END
1.网站地图新车之家为您提供最新汽车报价,汽车图片,汽车价格,信息最快最全的汽车新闻、行情、评测、导购内容的汽车网站。http://www.newsqiche.cn/sitemap.html
2.wwwautohomecomcn导读关于您提到的网址“www autohome com cn”,它可能是关于汽车之家(Autohome)的中文网站。汽车之家是一个专注于汽车领域的综合性网站, 关于您提到的网址“www autohome com cn”,它可能是关于汽车之家(Autohome)的中文网站。汽车之家是一个专注于汽车领域的综合性网站,提供有关汽车新闻、评测、购车指导、车https://www.szchehang.com/qczs/202411/93396.html
3.Python爬虫汽车之家全车型!你又钟意的车子吗!汽车之家车型csdn目的:汽车之家官网所有的车型以及他的基本参数这些,我们知道每个车的ID不一样,那我们找到所有的ID,在找到他们的基本参数那就不是问题了。 分析网站: 闲话少说:第一种方向:是按照品牌一级一级往下找,比较繁琐; 第二种方向:按照车型对比界面,找到JSON提取数据,这个比较容易点 https://blog.csdn.net/weixin_43881394/article/details/108887854
4.广州市中型车指标调控管理信息系统问:什么是普通车、节能车、新能源车?如何查询? 2024-09-20 问:如何申请节能车增量指标或新能源车指标? 2024-09-20 问:如何申请普通车增量指标? 2024-09-20 问:买什么车上牌要申请小客车指标? 2024-07-26 问:什么是增量指标、更新指标、其他指标? 2024-07-26 主办https://jtzl.jtj.gz.gov.cn/
5.hao123网址之家hao123是汇集全网优质网址及资源的中文上网导航。及时收录影视、音乐、小说、游戏等分类的网址和内容,让您的网络生活更简单精彩。上网,从hao123开始。https://www.hao123.com/
6.电动汽车之家,为新能源汽车而生中国汽车制造商加大欧洲混动车出口,规避新关税 一电快讯16小时前 235 快讯 工信部发布新一批减免购置税新能源车型目录,小米SU7 Ultra等入选 一电快讯12-05 91 汽车之心 微信公号Auto-Bit。汽车之心是一家专注智能汽车与自动驾驶的媒体和知识服务平台,定位于推动汽车与科技的融合。我们的团队由一群热爱汽车与新技术https://www.d1ev.com/
7.汽车之家图片下载批量下载批量保存教程使用啄木鸟下载器可批量下载 汽车之家 中图片。 前提条件 1、windows操作系统 2、framwork 4.8 测试网址 https://car.autohome.com.cn/photo/30765/1/3928302.html https://car.autohome.com.cn/photo/series/51325/53/6614593.html 操作步骤 1、打开啄木鸟下载器全能版,网站选【汽车之家】,属于杂类系列。 http://m.tianxisoft.com/rule180
8.案例拆解汽车之家的用户运营体系拆解原因:这些平台流量大,触达的用户多。虽然用户杂,但是原创内容可以精准筛选部分用户变为汽车之家的用户。 抓手:他们是如何设计内容+钩子或者活动的活动。 将优质的原创内容分发到各个平台,吸引用户阅读、观看,再引导有需要的用户下载APP并注册登录。 转化:转化漏斗的上做的好的部分,做得不好的部分。 https://www.niaogebiji.com/article-132747-1.html
9.车生活—汽车之家看车买车用车车生活旗下汽车之家专门为您提供最新汽车评测以及新闻资讯、导购、维修、保养、安全、汽车论坛、自驾游、汽车休闲、汽车文化等方面的内容,是服务于购车人群的汽车论坛!http://www.andapei.com/
10.汽车投诉汽车投诉网“国民车企”比亚迪,作为一度火热的品牌,着实让我真真切切体验了一把。本人于23年8月初,购买了一辆比亚迪纯电营运车。本打算靠着它养家糊口,结果却大失所望。开了没几天,车就在正常行驶之中突然断电,持续时间长达一分钟。断电期间,车辆所有设备不能工[详细] https://tousu.16888.com/
11.购车网汽车报价汽车之家购车网是网友的汽车之家,提供汽车报价,汽车导购,汽车团购,二手车,试驾评测,汽车维护等,是专业的网上车市,汽车网和汽车之家.http://www.ecar168.cn/
12.模板之家创世下载站免费游戏软件资源周五夜放克错误化恶搞之家 像素火影黄猿版本 范式起源正版 脑叶公司手游免费 冒险王之精灵物语手机版正版 王牌竞速S24赛季 第五人格第三十六赛季 节奏天国18汉化版 植物大战僵尸无尽版 立即查看 最新游戏 查看更多 无尽冬日安卓版 星球重启官方正版 沙威玛大战僵尸玩家自制版 https://www.cssmoban.com/