dream的小站 - 主从式分布式爬虫框架设计思路 的评论
一、假设一个海量数据爬取的环境爬取数据时，我们一般都是从主页面进入，然后一层一层向下爬取，因此我们需要获取最初的“种子”url种子url1 Billion URL，假设在多层请求后，每个种子ur...