python爬取安居客二手房网站数据反义

之前没课的时候写过安居客的爬虫,但那也是小打小闹,那这次呢,

还是小打小闹

哈哈,现在开始正式进行爬虫书写

首先,需要分析一下要爬取的网站的结构:

作为一名河南的学生,那就看看郑州的二手房信息吧!

在上面这个页面中,我们可以看到一条条的房源信息,从中我们发现了什么,发现了连郑州的二手房都是这么的贵,作为即将毕业的学生狗惹不起啊惹不起

还是正文吧!!!

由上可以看到网页一条条的房源信息,点击进去后就会发现:

房源的详细信息。

OK!那么我们要干嘛呢,就是把郑州这个地区的二手房房源信息都能拿到手,可以保存到数据库中,用来干嘛呢,作为一个地理人,还是有点用处的,这次就不说了

好,正式开始,首先我采用python3.6中的requests,BeautifulSoup模块来进行爬取页面,

首先由requests模块进行请求:

通过分析可以得到每个房源都在class="list-item"的li标签中,那么我们就可以根据BeautifulSoup包进行提取

#通过BeautifulSoup进行解析出每个房源详细列表并进行打印soup=BeautifulSoup(response.text,'html.parser')result_li=soup.find_all('li',{'class':'list-item'})foriinresult_li:print(i)通过打印就能进一步减少了code量,好,继续提取

好了,按正常的逻辑就要进入页面开始分析详细页面了,但是爬取完后如何进行下一页的爬取呢

所以,我们就需要先分析该页面是否有下一页

同样的方法就可以发现下一页同样是如此的简单,那么咱们就可以还是按原来的配方原来的味道继续

哎,怎么动不动就要断电了,大学的坑啊,先把结果附上,闲了在补充,

而且数据存储到mysql也没有写,所以后期会继续跟进的,thankyou!!!

THE END
1.python爬取安居客网站上北京二手房数据安居客二手房北京信息爬取目标:爬取安居客网站上前10页北京二手房的数据,包括二手房源的名称、价格、几室几厅、大小、建造年份、联系人、地址、标签等。 网址为:https://beijing.anjuke.com/sale/ BeautifulSoup官网:https://www.crummy.com/software/BeautifulSoup/ 直接上代码: https://blog.csdn.net/fei347795790/article/details/99606578