互联网上关于使用python3去爬取汽车之家的汽车数据(主要是汽车基本参数,配置参数,颜色参数,内饰参数)的教程已经非常多了,但大体的方案分两种:
importosimportre'''第三步解析出每个车型的数据json,保存到本地。'''if__name__=="__main__":print("Start...")rootPath="D:\\autoHome\\html\\"files=os.listdir(rootPath)forfileinfiles:print("fileName=="+file.title())text=""forfiinopen(rootPath+file,'r',encoding="utf-8"):text=text+fielse:print("fileName=="+file.title())#解析数据的jsonjsonData=""config=re.search('varconfig=(.*){1,};',text)ifconfig!=None:print(config.group(0))jsonData=jsonData+config.group(0)option=re.search('varoption=(.*)};',text)ifoption!=None:print(option.group(0))jsonData=jsonData+option.group(0)bag=re.search('varbag=(.*);',text)ifbag!=None:print(bag.group(0))jsonData=jsonData+bag.group(0)#print(jsonData)f=open("D:\\autoHome\\json\\"+file,"a",encoding="utf-8")f.write(jsonData)f.close()