一个可以自定义任意网站的抓取订阅工具,欢迎建议和指导

2014-02-22 15:01:54 +08:00
 Yegrit
每天都上很多网站,其实要是数一下,也就那么几个.调查了很多朋友每天上网情况,多数是每天上的网站约在0-15个之间,如果一个个网站去查看,其实很浪费时间,所以我就想有这么一个东西,把关注的一些网站收集到一块,然后有个东西来自动去更新抓取,只须看一下抓取的列表,就知道要看哪些内容,可以说是一目了然,有最新的也不会落下。

用了一段时间做出原型,然后自己用了一段时间,现在已经改变了经常去逛网站
乱看的习惯了,休闲时打开一下这个列表,一看有新的要看的就打开看看,没有就直接关了,然后该干什么干什么去,节省了不少时间。最近老婆生孩子住院的几天上网不方便,就用手机看这个列表,感觉真的挺方便的。

最初时是根据迷你门户的模式想出来的,比如QQ,或是迅雷,115之类的都会弹出一个小窗口,就是一个迷你门户,有各种花边新闻和广告,但这是商家推送的,不是我要关注的,虽然吸引眼球。所以就有了这个想法,要做一个只显示自己关注的最新资讯的东西。

这个东西就是一个可以自定义的订阅器,将经常浏览的网站中喜欢的 “块”加入,自动更
新最新内容标题,不用到每个网站去查看,节省翻阅时间。帮你列出的是你想看的内容,让你快速找到想看的和新的,而不是推送的,这里只是索引,不抓取内容。
现在只做了最初实用的功能,界面没怎么考虑,因为一直是给自己用的。
与RSS订阅很相似,但区别是RSS是网站设定好的了,而这个是你自己选择的

很多还在学习研究中,欢迎轻拍,

------------------------------------------------------------
演示地址: http://hackreader.com/reader/
http://hackreader.com/reader-mobile/ (移动版)

测试账号:用户和密码都是:HackReader

使用方法:登陆后进入,左下角有加种子 Add - New Feeder, 添加一个种子即Feed

[Name] 种子名称随意,可以不添,自己知道即可

[Url] 目标地址是必须的

[Seed] 种子规则可以是此页中的任意一项:

[链接的标题] or [某块的任一条内容的地址] or [此块列表的CSS选择器]
------------------------------------------------------------
注意:如果用链接的标题,则标题中不能含有html标记,这里还没处理,可以用地址就解决了


暂时抓取的频率为30-72分钟,根据对应网站更新速度而设定的更新频率。

初次添加的种子可能需要1-3分钟初始化数据,不要刷新。
8129 次点击
所在节点    分享创造
32 条回复
likaci
2014-02-22 15:17:44 +08:00
赞一个,期待实现细节
standin000
2014-02-22 15:33:29 +08:00
类似yahoo pipes?
wdkwdkwdk
2014-02-22 15:57:56 +08:00
我也有次想法,赞一个,希望开源
Yegrit
2014-02-22 16:01:15 +08:00
当做到比较完善时就考虑开源
Yegrit
2014-02-22 16:02:00 +08:00
@standin000
我觉得很不好用,如果好用就不做这个了
uleone
2014-02-22 16:58:42 +08:00
也曾经有此想法,赞
flytwokites
2014-02-22 17:11:06 +08:00
我觉得能为不提供rss的网站生成rss的工具更通用,因为可以用在已经存在的大量rss阅读器中,毕竟不会为了几个没提供rss的源就转用你这个阅读器。
Mutoo
2014-02-22 17:15:11 +08:00
我同学也做了一个类似的东西 http://www.anypush.in/
yaotian
2014-02-22 19:33:26 +08:00
我也做过这个,你输入的地方没有encoding,你自己做的判断?
Yegrit
2014-02-22 19:41:17 +08:00
@yaotian
可否发来欣赏一下
yaotian
2014-02-22 20:04:50 +08:00
@Yegrit 实际上 http://lumeinv.com 就是基于我说的那个后台程序。实时抓取,最新的。
lidonghao
2014-02-22 20:08:16 +08:00
顶一个
Yegrit
2014-02-22 20:14:51 +08:00
@yaotian
不同型,我这个只是面向私有的
inee
2014-02-22 20:18:40 +08:00
@yaotian
@standin000
@Mutoo 有没有将pc和移动端打通的?
hsinglin
2014-02-22 20:21:36 +08:00
http://feed43.com/

我也在用类似的服务,但是它那个更加完善的是定义的模板,比如我要定义一个区域。这个区域里的内容可以让我在模板里重新进行组装。楼主这个工具很赞,顶。
Yegrit
2014-02-22 20:34:38 +08:00
@hsinglin
也要研究类似工具的优点了
windyang
2014-02-22 20:38:04 +08:00
给LZ出个点子,可以实验一下,不成也无所谓。

个人觉得RSS订阅不如内容导航好,用户关注的网站是很集中的,冷门的抓取的意义也不大,自己点开网页也能看到。

小众的动漫、影视剧之类的消息更新,做成导航的形式,但是附带最新通知。加上用户订阅、分享、点评、排行之类的。

加上人共分类和简单筛选。

新型的HAO123。

另外内容和形式可以参考传送门http://chuansong.me/
yaotian
2014-02-22 23:17:44 +08:00
@windyang 给个使用这个的理由?和hao123的差别是什么?小众?
liubin
2014-02-22 23:51:32 +08:00
跟RSS Reader有什么区别?
inee
2014-02-22 23:57:29 +08:00
太复杂了,和reader,做的一样,用搜索,然后后台自动检测那个网站

你这个就强大在能否自动生成没有rss提供的网站。

现在这个还是太复杂了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/101362

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX