Python : 爬取所有 ip 数据并存入 mongodb,支持中断恢复执行

[xiaojieluoff]

数据采集自 ip-api.com

在 celery 队列中获取数据并存入 mongodb 数据库

支持程序中断后从上次停下的地方继续采集

支持 python3+

Github 地址: https://github.com/xiaojieluo/ip-database

下面截图是我在本地电脑爬的,开了 4 个 worker,celery 很容易横向拓展,如果多加几台服务器,做成分布式爬虫,速度应该还是可以的

截图

安装

$ pip install -r requirements.txt

使用

1. 配置 mongodb 连接信息

ip-database 会将采集的数据存储到 mongodb 中,所以需要在 db.py 中配置 mongodb 的连接信息

2. 启动 redis-server 和 celery

celery 使用 redis 存储任务队列,需要启动 redis-server

$ redis-server

$ celery -A task worker --loglevel=info

3. 启动主程序

$ python ip.py