包括品牌,车系,年份,车型四个层级。
superagent,request,iconv;(网络请求模块,iconv用于gbk转码)
cheerio;(和jQuery一样的API,处理请求来的html,省去正则匹配)
eventproxy,async;(控制并发请求,async控制得更细)
async控制并发请求数量为10个(避免封IP与网络错误)
模拟sleep使间隔100ms(不设间隔偶尔会出现dns错误)
去除express模块,该为控制台直接开启爬虫(数据量大,打开网页来开启爬虫可能会由于超时而重新发起访问)
THE END