获取某一个网站的图片信息需要用到requests模块,所以我们需要安装requests
安装
测试是否安装成功
发送请求
获取响应
获取7160网站的图片:获取当前页面的图片
如果是大文件或者多个文件,建议循环下载,如果存储空间不足,之前的文件不会缺失
#stream默认情况下是false,会立即开始下载文件并存放到内存当中#当把stream的参数设置成True时,它不会立即开始下载,当你使用iter_content遍历内容或访问内容属性时才开始下载response=requests.get(url_file,stream=True)withopen("file_path","wb")asf:#iter_content:一块一块的遍历要下载的内容,chunk_size是每一块的字节数,结合使用可以防止占用过多的内存#循环下载文件,按照chunk_size设置的字节数,每次只下载这一大小的数据foriinresponse.iter_content(chunk_size=512):f.write(i)使用iter_content方法按字节大小循环下载
获取天极网的图片:保存图片时有多级文件夹
获取汽车之家图片:多页面多图片获取
顺序获取前20页,将获取图片的代码封装成了函数,需要获取多少页只需简单修改参数就行
#1、导包fromconcurrent.futuresimportThreadPoolExecutor#线程池#2、在代码中需要使用的位置上方加这一行#表示线程开始,将需要使用线程池的代码放进来t=ThreadPoolExecutor(max_workers=10)#max_workers表示线程数#3、在代码中结束的位置下方加这一行#当代码执行完,结束线程,不再往进加任务t.shutdown()