CloudQuery: 把任意网站变成 API

[timqian]

源代码以及演示可以在这里看到: https://github.com/cloudfetch/cloudquery

这个工具是从我的另一个项目抽取出来的 https://cloudfetch.info。感觉可以用这个用具从一些网站方便的得到一些数据以备创建新应用所有。希望对大家有用

[stone666]

那？ 12306 ？

[timqian]

@stone666 啥意思🤔

[kkkkkrua]

12306 出来的是 html #1

[luoway]

v2ex 今日热议主题

https://2uvlp0y13b.execute-api.us-west-2.amazonaws.com/staging/query?url=https://v2ex.com&selectors=*:nth-child(6)%20%3E%20*:nth-child(2),*:nth-child(6)%20%3E%20*:nth-child(3),*:nth-child(6)%20%3E%20*:nth-child(4),*:nth-child(6)%20%3E%20*:nth-child(5),*:nth-child(6)%20%3E%20*:nth-child(6),*:nth-child(6)%20%3E%20*:nth-child(7),*:nth-child(6)%20%3E%20*:nth-child(8),*:nth-child(6)%20%3E%20*:nth-child(9),*:nth-child(6)%20%3E%20*:nth-child(10)

[natforum]

方便制作 app ？

[mingff258]

不错，最近正好有这方面的需求，收藏了

[falcon05]

雅虎有个 YQL 的东东，类似，不知道现在还能用吗？

[xomix]

这个是不是可以缩写成
PaaA
web Page as a web Api

[d5]

太酷了，果断 star

[Tink]

6 啊！

[xqin]

反馈个 bug

https://github.com/cloudfetch/cloudquery/blob/master/app.js#L63

这里第 63 行,使用的变量未定义, 会变成全局变量, 变成全局之后, 会产生 bug.
当 A 请求进来之后, 执行到 launchChrome 的时候,是一个 await,
然后这时候 B 请求过来了, B 请求传入的 selectors 会覆盖 A 请求中后续 #130 行处理时的取值(会变成 B 的).

即这个数据串了...

[xqin]

另外没有对传入的 selector 做一个基本的有效性验证, 可能导致下面这两处, 在 launch 出来的 Chrome 里面执行恶意脚本.
比如 while(true) 等?
https://github.com/cloudfetch/cloudquery/blob/master/app.js#L132
https://github.com/cloudfetch/cloudquery/blob/master/app.js#L135

[xiaotuzi]

也就爬取链接和 dom，没有对应的链接…

[timqian]

@kkkkkrua
@stone666 显示是可以显示的，要等一会儿页面加载一些其他东西。不过显示的有点问题，这个问题也存在于其他一些网站，因为这个工具是把 aws lambda 上的 chrome 渲染出来的 html 拿过来放到 iframe 里，有些外部 css img 什么的会不正常，暂时还没找到很好的解决办法。

@xqin 感谢！变量的问题代码是没太写好，这里是应该加个 const，之后加个 lint。有效性验证也是很必要的，明天改改，如果你能提个 issue 甚至是 PR 就更好了😜

[timqian]

@xiaotuzi 链接是可以有的，但是你要多点点，有时候点到 link 的爸爸 element 就没链接了，是个手艺活。。。

[imwalson]

@falcon05 yql 以前我也用，现在已经黄了，关闭了

[xiaotuzi]

@timqian 可以转换下思路，直接获取软文的 link，然后输出来提供选择，那么就不会出现说点到其他 dom 了

[timqian]

@xiaotuzi 谢谢，也是一个新功能的方向

[Cbdy]

很遗憾，随便输入一个我正在访问的网站：Access Denied
https://www.nike.com/cn/zh_cn/

[solobat]

感觉 GraphQL 的方式更方便呢
https://github.com/dinubs/coolqlcool