本次爬虫的目标是汽车之家的二手车销售信息，范围是全国，不过很可惜，汽车之家只显示100页信息，每页48条，也就是说最多只能够爬取4800条信息。
由于这次爬虫的主要目的是使用lxml解析器，所以在信息的查找上面完全只会涉及lxml中选择器的用法，虽然lxml可以同时使用CSS选择器和Xpath选择器，但是为了更加突出效果，暂且只使用Xpath。
爬虫老套路，分为3个步骤：
网页结构分析的一般思路是先找到第一个需要爬取的链接，然后看看后面的链接是以什么方式构成的，进而选择一种方式全量爬取（一般使用循环或者递归的方式）。
第一页的链接很容易得到，然后可以看到，二手车的信息总计只有100页，每页48个信息，也就是总共有4800个信息可以爬取到。
通过上面的分析，构造所有100页的链接是件很简单的事情，只需要把链接中的数字部分循环替换一下就行了，这就是循环的方式了。这个方式对付这种链接很有规律的URL在适合不过了，具体参考代码：
所谓递归，首先找到一个递归的出口，也就是爬虫的终点。对于这个爬虫，终点就是当爬到第100页的时候就要结束，既然思路明确了，那可以看看第100页与其他页面有什么不同。
通过分析，可以看到1-99页都有一个“下一页”的按钮，而最后一页是没有这个按钮的，这就是出口。只需要设置一个判断就行了：
html=requests.get(url,headers=self.headers).text这一句是通过requests来获取网页结构，形成标签树。
每当找到“下一页”这个按钮，就执行if下面的代码，也就是把找到的下一页链接放入函数中去继续执行，这就形成了递归。当然，前面也说过了，只有1-99页是有这个按钮的，所以到了第100页就找不到这3个字了，这里的if判断就会停止执行，递归也就结束了。
这一段就是递归的判断：
这段代码就是提取每个页面的所有二手车链接，并且对每个链接执行函数去提取有效信息：
每个主页是一个单独的链接，所以可以写一个函数，传入一个url，然后输出需要提取的信息就行了，具体代码如下：
提取的方式依然是使用xpath选择器，由于有的信息格式不符合之后要保存的格式，所以使用python的基本方法稍微处理了一下。
最后，再保存信息之前，只用print打印一下提取到信息，查看信息的完整性和准确性。
这样，一个爬虫的前2步就已经完成了，剩下一的就是选中一个合适的方式将信息储存起来。数据库是个好工具，mongodb更是一个好数据库，没错，就是你了！
由于爬虫的信息不需要太明确的关系，主要目的是存储信息，所以数据库的选择上优先选择mongodb，这种非关系型数据库真是最好不过了。
首先需要导入相应的数据库工具库
frompymongoimportMongoClient然后是连接数据库，由于这个爬虫是写到一个AutohomeSpider类中，因此可以在初始化的时候直接链接指定的数据库，并且可以同时创建表格。
具体代码如下：
self.coon=MongoClient('localhost',27017)self.coll=self.coon['autohome']['Oldcars']上述代码可以看到，连接了本地mongodb之后，可以直接创建之前不存在的数据库和数据表。
mongodb插入信息的方式非常简单，只需要将数据存放到一个字典中，然后使用insert()方法就行。
具体插入信息的代码在上面代码中的
self.coll.insert(dic)也就是每爬取一条信息就存入mongodb中。
最后爬虫结束，可以使用第三方可视化工具查看一下mongodb中存储的数据：
爬虫比较简单，爬取的信息也没有多大的价值，因此不做后续深入研究，这个爬虫主要是为了介绍lxml解析器和Xpath选择器。