做了一个可以以任意周期抓取任意网站数据的网站

2018-05-25 23:26:04 +08:00
 timqian

地址： https://cloudfetch.info/

一些事例应用：

欢迎使用以及提供反馈

5777 次点击
所在节点    分享创造
18 条回复
golmic
2018-05-25 23:52:46 +08:00
需要自己写解析规则吗～
logOo
2018-05-25 23:54:37 +08:00
pxxhub
jisibencom
2018-05-26 07:45:07 +08:00
然后怎么按天保存呢？
widewing
2018-05-26 07:49:29 +08:00
能转成 rss 吗
Michelangelono
2018-05-26 10:04:24 +08:00
看不懂
timqian
2018-05-26 11:13:37 +08:00
@golmic 想法是只需要点击页面特定部分，自动生成解析规则，刚在首页添加了使用方法说明
@Michelangelono 刚在首页添加了使用说明
timqian
2018-05-26 11:14:18 +08:00
@jisibencom 保存在 cloudfetch 的数据库中
timqian
2018-05-26 11:14:50 +08:00
@widewing 暂时没有这个功能，目前可以使用邮件方式订阅感兴趣的内容
LanAiFaZuo
2018-05-26 11:45:55 +08:00
有没有中文的用法介绍？英文逼格太高看不懂。
iConnect
2018-05-26 12:01:47 +08:00
不用分布式爬虫，抓多了，对方屏蔽了你的请求很快就费了阿
timqian
2018-05-26 12:11:04 +08:00
@LanAiFaZuo 谢谢建议，尽快加上
qsnow6
2018-05-26 12:15:09 +08:00
烧录 rss 是个不错的需求
timqian
2018-05-26 12:16:02 +08:00
@iConnect 目前支持的最高抓取周期是 1h，所以还好。如果这个站能做起来，确实是需要考虑这个问题，因为有可能很多用户都在抓同一个站。谢谢你的建议
iyangyuan
2018-05-26 16:05:06 +08:00
虽然抓取频率低，但是每次抓取都有大量请求，如果没有代理，很快就会被识别到
codelover2016
2018-05-26 16:29:06 +08:00
感觉没有八爪鱼腻害,还有神剑云....
timqian
2018-05-27 17:41:43 +08:00
@codelover2016 谢谢，第一次听说这两个😂
timqian
2018-05-27 17:42:44 +08:00
@iyangyuan 每个 fetcher 每次抓取只做一个 http 请求
Spoter
2018-05-28 09:30:31 +08:00
可以抓 Google Play 商店每日的截图吗

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/457866

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX