从去哪儿网爬取高铁的时刻表, 高铁班次,高铁票价信息并保存在文件里面。
** 如果你只是想用数据, 请查看data里面的文件,避免再次爬取减少服务器压力 **。
pip install -r requirements.txt
python3 crawler.py
python3 secondcrawler.py
python3 jsonparse.py > data/火车班次列表
由于去哪儿网提供的接口只能查询输入火车班次名称来查询对应火车的信息和票价,但是并没有办法知道所有火车的班次列表,因此采用遍历的方式,
-
crawler.py脚本用来遍历查询以G开头,后面数字为1~10000之间,来筛选出正确的高铁班次和对应的信息。查询时间间隔为2秒,查询出的结果,将正确的班次信息存入"data/火车班次列表", 将不存在的班次存入"data/不存在的火车车次"中。
-
secondcrawler.py脚本用于处理类似于"G233/G236"这样的中间带/的班次信息。从第一步的不存在的火车车次列表中,采用随机组合的方式,再次向去哪儿网查询,如果车次存在,存入"data/其他火车班次列表中"。
-
jsonparse.py是用于格式化查询存储下来的json数据的脚本
-
如果想要抓取其他k,z,t等开头的火车信息,同理,修改各个脚本参数即可.