0、此框架只能用于爬虫由框架來调度url请求,必须按照此方式开发没有做到类似celery的通用分布式功能,也不方便测试可以使用另外一个,基于函数式编程的调度一切函数的分布式框架,做到了兼容任何新老代码满足任何需要分布式的场景。
run文件之间来回切换写代码这只需要一个文件,开发时候可鉯节约很多时间形式非常松,需要重写一个方发自己想怎么解析入库都可以,不需要定义item和写pipeline存储自带的RequestClient支持cookie简单操作,支持一键切换ip代理的使用方式不需要写这方面的中间件。
推荐使用rabbitmq作为消息中间件能确保消费正确,可以随便任何时候关停程序使用redis如果随意停止,会丢失正在请求或还没解析入库的任务线程进程越多,丢的越多