有没有一种爬虫服务,只需要我指定网站和规则,就可以定时爬数据,并且可以提供我指定格式的 json api 的

2018-03-03 13:47:55 +08:00
 Brucepac

如题,希望各路大佬知道,告知一下。

PS:本人比较喜欢看自然科学相关的文章,经常看环球科学的网站,加上我是做 iOS 开发的,所以我想用 swift 做一个 app 方便看文章。

本来是想自己做全栈的,包括设计和前后端(前后端全用 swift),但是由于我对爬虫方面的知识不太了解,我想先完成 app,后期再用 Perfect 自己学习写爬虫程序。所以要是有现成的爬虫并且是开源的就最好了😄。

9540 次点击
所在节点    程序员
46 条回复
just1
2018-03-03 21:33:26 +08:00
@safedogcc 在安卓版好像只看到了 rss 和知乎专栏
golmic
2018-03-03 21:35:42 +08:00
我可以免费提供数据方面的技术支持。微信 lujqme,可以联系我
limbo0
2018-03-03 22:37:58 +08:00
不趁现在学习一波 python 吗
rootit
2018-03-03 22:46:10 +08:00
你想的太简单了。。。
safedogcc
2018-03-04 00:20:44 +08:00
@just1 #21
这类是固定的解析模版,比如 v1.4 的简书专题(近日发布),v1.5 的 hexo 博客支持(待发布)以及后续的 wordpress 博客站点等等一些较常用的 cms 系统(因为基本 dom 元素一致,所以解析代码通用)。

当然,你有兴趣可以看看开发文档,你会发现绝大部分的网站都可以进行创作哒!
xuanyuanaosheng
2018-03-04 00:29:02 +08:00
mark
mlyy
2018-03-04 00:29:52 +08:00
这里有两层难度

- "指定网站和规则"
- "我指定网站和规则"
agdhole
2018-03-04 00:55:30 +08:00
造数了解一下
demonchang
2018-03-04 01:06:48 +08:00
发源地云采集引擎,可以看一下。自带周期更新
dobelee
2018-03-04 01:43:38 +08:00
mark
gouchaoer
2018-03-04 02:05:34 +08:00
正在做相关的东西,我爬虫攻城狮干了几年了
wwb721
2018-03-04 08:12:48 +08:00
马克
idcspy
2018-03-04 10:47:07 +08:00
造数好像可以。
Shura
2018-03-04 11:23:26 +08:00
feed43
Brucepac
2018-03-04 11:41:28 +08:00
@agdhole 看网站好像不错,正在申请使用,不知道收不收费
Brucepac
2018-03-04 11:46:00 +08:00
@limbo0 想后期用 swift 写
qiqico
2018-03-04 12:25:36 +08:00
https://www.showapi.com/ent 这个也不错,支持一些自定义规则
beginor
2018-03-04 20:56:15 +08:00
lisztli
2018-03-04 23:27:25 +08:00
lisztli
2018-03-04 23:28:59 +08:00
scrapinghub 和 scrapy 框架直接绑定,有免费配额,可以直接使用。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/434481

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX