分享下爬山虎采集器的自动识别算法动态图

[oness]

之前的主题都是文字性描述，可能不够直观。之前:https://www.v2ex.com/t/411413
估计很多人没看明白，或者看不下去（体验不好。。。

刚做了几个动态图，用来演示爬山虎采集器的自动识别算法。

1.东方财富网的采集效果


2.新浪新闻的采集效果


3.v2 的效果


测试的都是列表页，爬山虎也能够深入到内容页去抓取（通过抓取链接的深入），也是非常简单。

目前来说，列表数据和分页的识别率都还可以。
相对于其他采集软件来说，优势就是稍微简单、方便点。

爬山虎采集器网站： http://www.51pashanhu.com/
（网站目前来说，做的很烂，准备优化一下 ）

[slgz]

马克

[fange01]

体验了淘宝和京东，不错。

[faketemp]

局域网中无法使用吗 打开软件一直提示请确认系统日期正确，软件即将关闭 然后就自动退出？@oness

[NirvanaCN]

简单使用了下，确实比较简单好上手，但是发现两个问题：1.官网显示免费版可导出 CSV，实际只能 1000 条 /天 TXT ； 2.脚本命令必须付费才能使用，这点比较蛋疼

[oness]

@faketemp 目前只能在联网状态下用

[jyf]

@oness 你这样搞还是以前共享软件的思路 建议你改变思路 让每个运行者通过自己的独特 ip 来对他人提供收费服务 赚取到的费用来用支撑他使用你这个软件的权限 把平台做起来多好

[faketemp]

@oness 既然已经限制了免费版的核心功能 就没必要必须联网使用了吧？比如想在局域网中统计内网网站少量数据啥的 很不方便建议考虑。还有字段设置正则表达式替换时“.”好像不支持匹配换行？建议增加多行模式

[oness]

@jyf 嗯，这个思路很好。但是因为技术局限。很难把这种 P2P 模式做好，做文档。

[oness]

@faketemp 的确有在内网采集的需求，我在考虑下。 正则表达式后面会加几个配置选择。感谢建议

[oness]

@NirvanaCN 这个网站还没更新，稍后就改

[faketemp]

@oness 还有测试使用爬山虎时类似下面内容列表如何准确识别呢？ Xpath 需要手工修改吗？请教……
比如 http://www.shui5.cn/article/NaShuiTiaoZhen/

[Myflos]

@oness 可以爬 58 的手机号吗

[oness]

@Myflos 应该可以

[oness]

@faketemp 修改列表 xpath ://div[@class='arcList']/ul/li

[faketemp]

@oness 这样设置无法正确解析列表元素，具体如图

想要的结果图类似下图（问题是图中仅采集了各段首条信息，段中其他条目数据如何设置才能同时采集到？）

[yanza]

挺不错的，不过代理只能添加一个，如果可以设置成批量添加代理就更好了，使用一个代理很容易被封

[oness]

@faketemp 用 //div[@class='arcList']/ul/li xpath，然后点击字段列的下拉菜单，“选择元素”，然后点击要列表其中一项就可以。

[oness]

@yanza 代理的话，正准备强化下，提供 adsl 拨号和路由器拨号 2 种

[chroming]

只有 Win 端啊

[oness]

@chroming 嗯，只会 win。。。