RSS404 - 为任何网站生成 RSS 地址[Demo]

[prasanta]

案例地址

https://demo.rss404.com/?url=https%3A%2F%2Fwww.v2ex.com

Demo 只提取前 20 个数据，加了请求锁，会比较慢。

你可以尝试任何正常的列表页面(肉眼可以轻易判断主列表)。

背景

1. 搞了一个自动识别网页列表的算法，想把它应用起来。有开源的，但是效果不理想。
2. 自动解析内容页的开源框架已经很多了，后期都可以集成起来。

原理

1. selenium 加载网页
2. 机器学习视觉分类+NLP 分析解析列表页面的列表项，并提取出列表页的每一项

讨论目的

1. 这个项目还有哪些想象力？出了 RSS 之外？
2. 是否有市场？
3. 你作为用户想要什么？

[saimax]

这个太 6 了～ 很多动态页面 feed43 无法制作的 可以用这个了～ 不知道会不会长期稳定提供服务啊？

然后 还有一些页面，无法解析好像
比如：
http://cpa.sf.gov.cn/gztz1/qtgz.htm

[prasanta]

@saimax 这个网站监测了 headless 浏览器导致的，这是可以解决的。

是有长期提供服务的打算，不过目前只在 V2EX 和 hackernews 发了两个帖子，想先看看反响。因为 rss 的用户群体还是太小。目前纯 demo 阶段会慢慢修复很多问题。

后面我会把格局改大一点，“自动转 rss” 改为 “自动抽取结构化数据”

[prasanta]

@saimax 修复了

[Bravoios]

很棒，支持一下，很需要这样的解析项目

[prasanta]

@Bravoios 谢谢！希望能收到大家的建议和意见

[tmkook]

https://github.com/tmkook/easyhtml
用 PHP 写过类似的

[prasanta]

@tmkook 谢谢分享，刚刚简单浏览了一下源码，部分思路很像！

[prasanta]

哪位大哥在测试黄色网站？别啊

[snipersteve]

有一些网站存在 url 拼接的问题，可以进一步优化一下。比如 https://demo.rss404.com/feed?url=https%3A%2F%2Fwww.samr.gov.cn%2Ffldj%2Fajgs%2F

[prasanta]

@snipersteve 多谢反馈，已修复

[snipersteve]

@prasanta 神速

[prasanta]

@snipersteve 刚好看到了。。。

[snipersteve]

@prasanta 有可能给个自己部署的方案吗？

[saimax]

@snipersteve
同问

[WangGuanJingJi]

页面打不开了

[prasanta]

@WangGuanJingJi fixed