百度小说兑换10元现金时间

通过这个URL我们可以得到所有章节的名称和cid

通过这个URL我们可以得到章节内部的具体内容。

于是我们可以总结出一个逻辑关系:我们通过第一个URL可以拿到一部小说的所有章节,并且得到章节的cid 再通过循环就能拿到每一个cid,通过每个cid就可以拼接出第二个URL,有了第二个URL就可以下载小说的具体内容。

且第一个URL只需要请求一次,因为在请求完第一个URL后才会产生多个章节的cid,而第二个URL需要运行多次来得到不同章节的内容。所以第一个URL可以使用同步的方法,拿到cid再把任务分发给多任务,即:

1.同步操作:访问getCatalog 拿到所有章节的cid和名称
 
 
对第一url使用同步操作,再通过循环操作,得到所有章节的cid,对第二个url使用异步操作下载每一章节的内容。需注意:要将爬下的字符串转换为jason数据。最后用csv文件格式存储。
 

我要回帖

更多关于 百度小说书币兑换现金时间 的文章

 

随机推荐