2、在周二、四、日的晚上23:00爬取中国福利彩票双色球开奖数据,在周一、三、六的晚上23:00爬取中国体育彩票超级大乐透开奖数据。
1工具
2具体方法
这里除了正常的爬取操作,还增加了独立的参数设定。如果没有参数,爬取的数据就在当前目录下;如果有参数,可以设定保存目录、保存文件名后缀。这样的话,这个脚本既可以单独使用,也可以配合sh定时任务使用。
双色球爬取代码grab500_ssq.py内容:
#-*-coding:utf-8-*-大乐透爬取代码grab500_dlt.py内容:
#-*-coding:utf-8-*-2、编写一个执行的sh脚本我们需要编写执行python的sh脚本bwb_lottery_everyday.sh,要注意的是sh的date获取的星期天值是0而不是7,而crontab则可以设定0或者7。
#!/bin/sh3、编写一个主sh脚本编写一个主要的sh脚本bwb_lottery_main.sh,执行清理和设定的工作。需要注意的是,这里直接使用了系统的/etc/crontab文件来达到周期执行的目的,其实并不太好,但crontab-e的方法很难自动化,所以只能设定为系统任务。
#!/bin/sh我们最后只需要执行这个主脚本,就能一键自动完成彩票爬虫的布置。
THE END