可以增加一些友好的配置项 比如： 为每个spider设置等待时间、因为是爬取站点免费公开信息、更新时间难免不同、统一的等待难免对部分更新快的站点不友好 为spider快捷设置代理、爬取过程中频繁或者根本就是被墙站点就会无法访问、如果能带着库里的代理ip就会友好很多
可以增加一些友好的配置项
比如：
为每个spider设置等待时间、因为是爬取站点免费公开信息、更新时间难免不同、统一的等待难免对部分更新快的站点不友好
为spider快捷设置代理、爬取过程中频繁或者根本就是被墙站点就会无法访问、如果能带着库里的代理ip就会友好很多