用Scrapy爬取汽车之家的网站图片就是爽腾讯云开发者社区

创建scrapy项目的命令在此不在赘述了,如果不清楚的小伙伴可以看下:Scrapy框架快速入门,以糗事百科为例进行说明【python爬虫入门进阶】(16)通过如下命令创建了一个名为bba_img_demo的scrapy项目,并创建一个名为bba3的spider。

scrapystartprojectbba_img_democdbba_img_demoscrapygenspiderbba3"car.autohome.com.cn"爬取图片bba3Spider这里还是采用xpath来爬取页面元素。在bba3Spider中爬取页面元素得到imgDemoItem,并返回给Pipelines。

在bbaImgDemoPipeline中通过接收bba3Spider返回的imgDemoItem。并将图片保存到bba_img_demo项目的images目录下。并且在images目录下以类别来保存各个类别下的图片数据。

这个方法可以实现我们想要的效果。但是,还不够优雅,没有用到多线程,不够简洁。scrapy为下载item包含的文件(比如在爬取到产品时,同时也想保存对应的图片)提供了一个可重用的itempipelines。这些pipeline有共同的方法和结构(我们称之为mediapipelines)。一般来说你会使用FilesPipeline或者ImagesPipeline

当使用ImagePipeline下载文件的时候,按照以下步骤来完成:

下面我们就使用ImagePipeline来实现下这个功能,详细的步骤如下:

classbbaImgDemoItem(scrapy.Item):category=scrapy.Field()image_urls=scrapy.Field()images=scrapy.Field()在bbaImgDemoItem类中定义image_urls和images两个属性。

pipinstallPillow经过上面五步之后就可以正确的运行了。运行之后的结果是:

可以看出所有的图片都被保存到了images目录下的full文件夹下了。这显然也不是我们期望的结果。所以我们还是需要继承ImagesPipeline类,然后,重写其保存逻辑。查看ImagesPipeline源代码可以得知将图片保存到full文件夹的方法是file_path。所以我们只需要重写这个方法返回我们想要的路径即可。

在pipelines.py文件中自定义一个名为bbaImagesPipeline的类,让该类继承自ImagesPipeline。

defget_media_requests(self,item,info):urls=ItemAdapter(item).get(self.images_urls_field,[])return[Request(u)foruinurls]重写后的get_media_requests方法。首先调用父类的image_urls方法,然后将item设置到request_obj中。

defget_media_requests(self,item,info):request_objs=super(bbaImagesPipeline,self).get_media_requests(item,info)forrequest_objinrequest_objs:request_obj.item=itemreturnrequest_objs2.重写file_path方法父类的file_path方法主要就两步,第一步是将图片链接的地址做hash运算得到图片的名称,接着返回图片存储的相对路径full/{image_guid}.jpg。

这里自定义了一个名为bba3Spider类,该类继承自CrawlSpider。

THE END
1.汽车之家车型数据库mysql5.6资源资源浏览查阅192次。根据汽车之家中的汽车品牌、车型。对应品牌logo图片地址设计的数据库表。能够在项目应用中预处理汽车相更多下载资源、学习资料请访问CSDN文库频道.https://download.csdn.net/download/serializablemrli/9996360
2.能在汽车之家易车这样的平台买车吗?上面的报价都是真实可信的吗(2)图片实拍 汽车之家/易车网对于车型照片的拍摄还是有很多规范的,这个板块可以让用户去4S店之前,大致的了解车辆内外饰、细节、颜色等。 需要谨慎甄别的信息有: (1)提车作业 提车作业有真实车主写的也有各个品牌厂家安排的。 各个厂家都愿意补贴现金邀请车主写提车作业,并且不限制内容。 https://www.yoojia.com/ask/17-11619531440880029333.html
3.江铃汽车皮卡图片大全江铃汽车皮卡图片库卡车之家江铃汽车皮卡图片,提供江铃汽车皮卡图片,江铃汽车皮卡车型图片,可按车型,地盘,上装,驾驶室部位查看江铃汽车皮卡图片,精彩卡车图片尽在卡车之家 。https://product.360che.com/img/c2_s60_b28_s121_m97504_t4.html
4.汽车之家2021款车型报价及图片大全汽车科技随着汽车技术的不断进步和消费者需求的日益增长,汽车市场呈现出前所未有的繁荣景象,作为专业的汽车媒体平台,汽车之家为广大车友提供了丰富的车型信息,包括最新的报价及图片等详细内容,本文将为您详细介绍汽车之家所提供的关于2021款车型的报价及图片信息。 http://www.bangzuchat.cn/post/721.html
5.电动汽车排名及价格电动汽车品牌第一电动网2022重新出发,为您提供最新电动汽车排名及价格、电动汽车品牌和新能源汽车报价,丰富的新能源汽车的品牌、国内电动汽车排行榜、参数、视频等,还可以VR看汽车,更全面了解新能源汽车的细节。http://car.d1ev.com/
6.汽车之家标志logo设计LOGO图库化石收集者及古生物学家诞辰215周年标志 JK男装品牌 微信logo设计含义(png大图)【矢量图】 BargainSpot字体设计 福建东南卫视标志含义汽车之家标志logo设计2021-12-11 LOGO设计/LOGO在线设计生成器 本站内容均来自网络,仅供学习参考,禁止商业使用。标志说明:上https://logo.nuanque.com/100387.html
7.李想:汽车之家和理想制造汽车创始人(一)凤凰网汽车在我的印象中,第一次听说李想这个名字,不是因为汽车之家,而是在我上大学的时候,有一次在电视上看到一期采访,标题是《80后创业代表人物》,有四位嘉宾:茅侃侃、戴志康、高燃和李想。当年那期采访我印象非常深刻,因为这四位嘉宾跟我都是同龄人,而且每个人都个性十足。茅侃侃高一辍学创业,李想高二辍学创业,但是戴志康是https://auto.ifeng.com/quanmeiti/20200313/1395087.shtml
8.加速未来!汽车之家App应用性能优化总结与后续展望持续优化平台架构,制定系统化的优化改进方案,以达到汽车之家App闪退率<=0.08%,App页面秒开率>=98%,App启动2s达标率>=98%,H5 1.5s打开率>=70%,主件卡顿率<=1%,严重卡顿率<=0.01%的目标。具体措施如下: 闪退问题:深入系统源码解决系统闪退问题,制定系统性内存优化方案,解决内存OOM崩溃,Native底层崩溃攻克, 并https://www.51cto.com/article/761107.html
9.网易汽车网易汽车:为您提供汽车导购,汽车报价,汽车图片,汽车行情,汽车试驾,汽车评测,是服务于购车人群的汽车资讯门户https://auto.163.com/
10.汽车实拍VR看车最新汽车图片大全汽车图片大全,易车图片库是国内汽车图片量丰富、图片清晰度高的专业图片频道。摄影师为您呈现出,汽车外观、内饰、内部空间、行驶、汽车创意图等精美汽车图片。http://photo.bitauto.com/
11.汽车图片大全汽车美女图片汽车标志大全汽车图片,网上车市汽车图片大全频道为网友提供各种汽车图片及美女图片下载,各种车型汽车图片桌面,汽车图片壁纸,车展美女图片,美女车模图片等。精彩图片,尽在网上车市。https://pic.cheshi.com/
12.美车致香车美女汽车壁纸车展新车58汽车汽车图片库拥有质量最高、数量最全无水印汽车图片,在这里,您可以找到从汽车诞生以来的所有车型的精美壁纸,为您的电脑桌面呈现最佳的视觉享受,更多精美汽车壁纸尽在58汽车https://photo.58che.com/