大众点评爬虫、API,可以进行单独城市、单独地区、单独商铺的爬取、搜索、多类型地区搜索、信息获取、提供MongoDB数据库存储支持,可以进行点评文本解密的爬取、存储。
可用于大众点评网页版
目前可用:
·获取大众点评当前可以查询查看到店铺的所有已激活城市信息
·获取大众点评里所有省市直辖市的provinceId以及地区areaId
·根据给定的中文城市、地区名称来获取其大众点评首页链接
·通过id获取地区名称
·通过id获取地区内的所有子地区信息
·获取某个城市的热搜关键词
·获取某个城市的当前可见有效店铺分类
·获取某个城市的当前可见有效的辖区信息,包含子地区
·获取某个商铺的加密点评信息,支持条数设定
环境
使用环境:
win764bits
pycharm
python3
第三方库:
bs4>=0.0.1
lxml>=4.2.5
pymongo>=3.7.1
requests>=2.19.1
使用前
因为大众点评的反爬措施,需要设置IP代理以及随机切换可用的User-Agent来进行大量数据的爬取
IP代理(Proxy)
如何设置?config.py中有详细的各个代理设置注释,建议使用PROXY_POOL进行IP代理,可以使用一次一个的接口来获取代理IP。
UA池
user-agent可以使用settings.py中的UA池,如果你有更多的可用UA,可以自己加进去或者替换掉。
用户cookie
如果你需要爬取加密的商铺点评数据(页数>1),则需要添加点评用户的登陆cookie到config.py的COOKIE中。具体内容为一个字符串,如:
数据库存储(MongoDB)与本地存储
如果需要存储搜索的店铺数据,则需要到config.py中设置MongoDB的数据库设置(本地存储可以在城市搜索api中设置保存本地的路径。),其中
使用
获取大众点评当前可以查询查看到店铺的所有已激活城市信息
返回结果cities为大众点评全国可以显示搜索到店铺的激活城市列表:
获取大众点评里所有省市直辖市的provinceId以及地区areaId
返回结果provinces为全国的省、直辖市的ID信息:
根据给定的中文城市、地区名称来获取其大众点评首页链接
返回结果url为北京市的大众点评首页:
获取某个城市的当前可见有效的辖区信息,包含子地区
返回结果locations为当前城市的所有子地区信息:
通过id获取城市的某个地区名称
返回结果someplace为北京地区的对应id的子地区名称:
通过id获取地区内的所有子地区信息
返回结果sub_regions为当前id下的所有子地区id列表:
获取某个城市的热搜关键词
返回结果hot为当前城市“北京”的热搜词汇列表(包含其所属分类id等信息):
获取某个城市的当前可见有效店铺分类
返回结果category为该城市所有的店铺分类信息列表:
save表示是否保存进MongoDB数据库,details表示是否抓取店铺的详细信息。具体参数可见search函数注释。
多线程搜索与单线程搜索流程一致,只是搜索线程多开了而已,线程数为搜索结果的页数,最多为50个(大众点评目前单页最多个数)。启用多线程的话,由于使用代理IP,有可能同时
获取的代理多个线程都是同一个,所以在config.py加入了RANDOM_INTERVAL(随机等待间隔)防止多个线程使用同一个代理被封。
下例以获取id为507576的店铺信息为例
返回结果:
获取下载保存某个商铺的加密点评信息,支持条数设定
获取点评需要使用cookie,具体使用参见“使用前”,默认保存数据进入数据库,具体的参数详情参见get_reviews函数注释。下例以获取店铺id为507576的商铺以第2页为起点的300条加密点评为例:
结果已经被存储在数据库中,MongoDB数据库中的单条点评数据内容具体为:
ToDo
如果想要抓取多个商铺的点评数据,可以使用多个账户+多代理+UA池来绕过反爬
尝试使用selenium对爬取点评数据进行验证码滑动验证
使用手机接码平台注册多个账户进行模拟登陆后获取cookie进行爬取点评数据