Zaoshu.io - 爬虫界的“美图秀秀”

2016-10-18 18:13:30 +08:00
 billyellow

啦啦啦, 给大家推荐 Zaoshu.io (造数),欢迎大家拍砖~ ; ) 地址是 http://www.zaoshu.io

我们通过一套网页分析的算法,分析出网页中结构化的数据,然后再爬取页面中的数据。

有趣的点: 1.我们完全 base 在云上,省去下载软件的麻烦,也提高了爬取速率 2.我们有智能页面分析的算法,所以用户不需要懂编程和正则,轻点几下就可以爬取数据并导出 Excel 。

你可以通过 zaoshu.io 来做市场的调查分析,来做竞品的监控,也可以做产品反馈的收集。

Feedback: 产品刚刚 Alpha 上线,所以问题不少,欢迎大家来试用~ 欢迎大家留言讨论,也可以邮件 billy#zaoshu.io : )

5872 次点击
所在节点    分享创造
25 条回复
Joway
2016-10-18 18:43:19 +08:00
貌似废了, 试了三个网站都卡在正在分析界面 - -

ps: 昨天 hackathon 还做了一个差不多的东西 ,想问你们这套算法开源吗? 或者能提供点分析思路吗 ? 我是才用行块正文提取 , 但进一步对正文进行结构化提取还真想不出好的方法
a570295535
2016-10-18 18:46:38 +08:00
然而半个小时后。。。
ewex
2016-10-18 19:08:18 +08:00
用的 wosign 证书,表示已拉黑证书的打不开
binux
2016-10-18 19:12:59 +08:00
根本没有「分析出网页中结构化的数据」,就是非常基础的通过 DOM class id 的 selector 规则生成,连 group 对其都没做好。
haocity
2016-10-18 20:32:29 +08:00
我只想说根本收不到邮件
prefere
2016-10-18 20:53:31 +08:00
见了鬼了,我都拉黑了 wosign 了,怎么还能打开。
还要把 startCom 也拉黑了?
kiah
2016-10-18 20:57:22 +08:00
然而直接打不开了
prefere
2016-10-18 21:09:06 +08:00
搞定了,终于打不开了。 dog
skinfiter
2016-10-19 10:18:51 +08:00
你们。。。
0xNone
2016-10-19 10:21:20 +08:00
Go dead.
patton
2016-10-19 11:31:40 +08:00
一直停留这个页面上分析页面上,没有结果出来
zqiyun
2016-10-19 13:25:10 +08:00
你们真过分!
diefishfish
2016-10-19 14:29:55 +08:00
随便找了个页面测试,创建规则的时候页码输入 100000009 到 114400009 然后发现并没有创建成功,是什么问题咧
billyellow
2016-10-19 18:29:41 +08:00
@ewex 我们马上换证书~~
billyellow
2016-10-19 18:29:54 +08:00
@prefere 马上换证书~~~
billyellow
2016-10-19 18:30:28 +08:00
@Joway 目前我们用得还是比较简单的算法,升级中 哈哈 有兴趣可以私聊
billyellow
2016-10-19 18:31:12 +08:00
@binux 可能是我描述没写的精确,目前还不算是分析,算是提取~
soulmine
2016-10-20 11:11:32 +08:00
网络异常 请稍后再试
讲道理 你们这注册都不行 怎么留用户 Hhhhh
beidouxun
2016-10-20 11:55:17 +08:00
我的网站就用了爬虫,现在正在完善中。为了精确用了正则, xpath ,字符串三种方式。现在也在寻找算法但是现在没有很好的算法,能自动并精确的寻找时间 正文 标题等所需要的内容
mingyun
2016-10-21 22:04:20 +08:00
太慢了,卡死不动了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/313652

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX