这是一个创建于 2264 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前有这么个需求,前台通过编辑添加网址的方式,后台的爬虫自动爬取该网址.目前的思路是前台添加的存到数据库,写个定时任务读数据库的 url,如果 url 有增加,再写个通用爬虫框架,把 url 放到通用爬虫框架里,实现自动化配置爬虫. 现在这个通用爬虫框架有点难搞啊 @__@
 |
1
aino 2018-10-18 13:53:40 +08:00
我写过一个，也是前台配置好 URL，并且配置好爬取规则（ xml 格式），后台就一套爬取逻辑，遍历 xml 去执行爬取任务
|
 |
2
519718366 2018-10-18 14:49:22 +08:00
你可以借鉴下 webmagic 的产品化方案
https://github.com/code4craft/webmagic/issues/43 |
 |
5
jisibencom 2018-10-18 15:15:00 +08:00 via Android
有的，scrpy 有 web 版，还有个国产的什么搜客吧，不过用了之后你会发现连火车头的 1%的便捷性都不到。
|
Select Language