spider-lang ：爬虫语言，专为网络爬虫设计

[vitovan]

大家看看有没有用？

下面是代码（最好看图，有高亮）：

;;Example 1: Hello World
;;V2EX 好像不需要验证码，此为模拟
GET http://v2ex.com/signin FOR img.captcha
　　:T 登录失败，需要验证码
　　:F POST http://v2ex.com/signin WITH u:vitovan p:password FOR a.fade[href=/notifications]
　　　　:T GET http://v2ex.com/notifications FOR #Main>.box>div.cell AS JSON
　　　　:F 登录失败，未知原因
;;Example 2: Code Block and Params
;;define a block
BLOCK v2ex-login $param
　　 POST http://v2ex.com/signin WITH u:vitovan p:password $param FOR a.fade[href=/notifications]
　　　　:T GET http://v2ex.com/notifications FOR #Main>.box>div.cell AS JSON
　　　　:F 登录失败，未知原因
;;call block
GET http://v2ex.com/signin FOR img.captcha AS IMG
　　:T POST http://handle-captcha-service.com/img WITH @RESULT AS TEXT
　　　　:T CALL v2ex-login c:@RESULT
　　:F CALL v2ex-login


[halfcrazy]

DSL ？看注释像是 clojure 写的？

[29488503878]

伪装 http 头怎么办，采集来的数据要入库怎么办

[vitovan]

@29488503878 新加了附言。

[vitovan]

@halfcrazy 嗯......只是个设想，还没实现。不知道有没有用，所以先讨论一下。

[cxh116]

解析与数据提取那一块准备写成什么样？

[plqws]

想法很好，不过相对于用代码，我更喜欢图形界面

[bengol]

好丑

[Ncer]

有意思

[qdwang]

用 Python 实现过和这个很像的内部 dsl

[tobyxdd]

还不错

[tdifg]

要是只为了爬虫这么一件事，为啥不直接写个框架啊？

[est]

一个场景：

找到页面 css 路径为 body div.container div.pages div.current 所在元素的 text 值，转换为 int ，加 1 ，作为下一页加入到当前页面 URL 中，继续爬取下一页。

[vitovan]

@est 稍等我试试。

[vitovan]

@cxh116 基本解析就类似于这样： GET http://v2ex.com FOR a ["href" "text"] AS JSON
进阶的就上正则了。

[vitovan]

@plqws 这不是问题，现在有没有好用的爬虫构建图形界面？

[vitovan]

@tdifg 框架有语言和运行环境的限制吖。

[vitovan]

@est 已附言：

[est]

@vitovan 嗯。。看来是需要发明个 INC 表达式。。

[vitovan]

@est 一些基本的加减乘除还是要有的吧，本来没这个打算（原本是想：所有链接均应该由页面元素点击而来，而不是程序组建），你这么一提还是有必要的。

[est]

@vitovan 还有更加复杂的正则组装，跨 JSON 拼接 URL 等等。麻烦死了都要！

最要命的，是对付 google 这类变态，都不能解析 json 了，要解析 js ！