ZhihuCrawl log

发表 分类 阅读量: Valine: 字数: 693 阅读时长 ≈ 1 分钟

代码改来改去已经改迷糊了……所以从现在开始每次改了些什么都记录一下吧：

上上次：老师布置新添加一个话题之后，我简单复制了一份新爬虫，把topic参数改了一下，这样打算topic 1爬完后用新爬虫爬topic 2，互不干涉；但是老师找上来说两个话题必须同时爬才行。

所以上次：我把两个爬虫融合在一起，让topic参数不由手动指定，而根据URL自动识别，然后美滋滋觉得没问题了。但是今天一运行发现bug，这样两个话题爬到的数据都会存进同一份数据库里啊！

为了让两个话题分别存到2个数据库，这次：绞尽脑汁，还是分成了两个爬虫，两个爬虫分别连接2个redis数据库，使用2个pipelines存进2个MySQL数据库里。具体来说，

1. 在StartCrawl里改了初始化redis时的d0 d1；

2. duplicate了spider，在custom settings里改了redis param的d0 d1；

3. duplicate了pipelines，分别为不同spider指定；

4. 在pipeline里根据topic自动给DATABASE_NAME加t1/t2前缀，避免了改DATABASE_NAME相关的一大堆；

5. 在pipeline里改了redis连接的d0 d1

这样是打算在scrapinghub上多开一些定期爬虫任务，有的是topic1的，有的是t2的，各自推动相关redis d0和d1中urls的进度。但一个显然的缺点是当某个topic的任务先跑完之后，正在进行中的spiders没办法自动全变成另一个topic的

tip：以后要注意初始化database的时候要整两个：t1m**d**和t2m**d**

相关文章