V2EX › luw2007 的所有回复 › 第 12 页 / 共 12 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

1 ... 3 4 5 6 7 8 9 10 11 12

❮

❯

2014-10-30 17:12:13 +08:00

@w2angel http://v2ex.com/t/142606 讨论爬虫交易平台呢. 感兴趣不?

2014-10-30 16:33:35 +08:00

@mrytsr kmonolabs.com应该和import.io 差不多.
我只是想提供平台. 不想直接实现.
毕竟需要实现的网站太多了.

2014-10-30 16:32:33 +08:00

2014-10-30 15:36:46 +08:00

@linzy 规则编写是比较难统一, 目前没有想好如何实现, 但是一定不会太复杂.

初步构想:
包装下python, js , golang 下常用的爬虫库, 然后约定成相同的规则实现对应的框架. 开发提供的并非简单的文本描述, 而是根据框架提供的api完成爬取和整合数据的操作.

2014-10-30 15:28:40 +08:00

看到 https://groups.google.com/d/topic/python-cn/O0oKyY7BqoE 里面提到了import.io. 才仔细考虑这个实现的可能性.
对于合法性. 数据生成环节打包给用户, 可以规避掉法律问题.

1 ... 3 4 5 6 7 8 9 10 11 12

❮

❯