这是一个创建于 3899 天前的主题，其中的信息可能已经有所发展或是发生改变。
这个东西我和朋友一起研发的，也是研发了大约两年多的时间，2012年初开始的，期间经过很多开心激动，艰难坎坷，现在是正式版最近刚上线。
八爪鱼采集器以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
可能很多人会说，就是个爬虫工具，就是个采集器，其实，八爪鱼跟大家常见的其他采集器有着本质的不同，八爪鱼是为大数据而诞生的，不是垃圾内容制造，不是论坛搬家新闻转载，他以完全可视化操作，智能自定义流程，云采集，独创智能化网页定位解析引擎等等完全改变了采集器的形象，八爪鱼的目标简单来说就是一句话：“八爪鱼，让数据触手可及！”
希望能得到各位朋友的指导和建议，也希望能在大家的帮助和关注下做得更好！
不知道怎么发截图，没办法展示界面，详情大家请可以看首页，有个1分钟的视频：
http://www.bazhuayu.cc
八爪鱼采集器以完全自主研发的分布式云计算平台为核心，可以在很短的时间内，轻松从各种不同的网站或者网页获取大量的规范化数据，帮助任何需要从网页获取信息的客户实现数据自动化采集，编辑，规范化，摆脱对人工搜索及收集数据的依赖，从而降低获取信息的成本，提高效率。
可能很多人会说，就是个爬虫工具，就是个采集器，其实，八爪鱼跟大家常见的其他采集器有着本质的不同，八爪鱼是为大数据而诞生的，不是垃圾内容制造，不是论坛搬家新闻转载，他以完全可视化操作，智能自定义流程，云采集，独创智能化网页定位解析引擎等等完全改变了采集器的形象，八爪鱼的目标简单来说就是一句话：“八爪鱼，让数据触手可及！”
希望能得到各位朋友的指导和建议，也希望能在大家的帮助和关注下做得更好！
不知道怎么发截图，没办法展示界面，详情大家请可以看首页，有个1分钟的视频：
http://www.bazhuayu.cc
 |
1
leiz 2014-03-25 00:12:59 +08:00  1
视频怎么做的？
|
 |
2
dennyzhang 2014-03-25 11:03:18 +08:00 1
界面蛮清晰的，看起来就好专业。赞！
|
 |
3
openroc 2014-03-25 13:27:57 +08:00 1
+1， 貌似以前推荐过。：）
|
 |
4
keven OP 谢谢大家支持，欢迎大家使用，目前所有功能都是免费的，有任何问题都可以到qq群提问61570666
|
 |
5
simpx 2014-03-26 09:58:29 +08:00 1
看了一下介绍，感觉开发这么一套软件加上背后的云服务器的成本肯定不低，而收入目前看肯定还不高。
本来很好奇你们团队为什么在初期就投入这么大，看了“关于”后明白了，你们从提供解决方案转型为做产品面向客户。 |
 |
6
zhouzm 2014-03-26 10:08:04 +08:00 1
要赢利就得有大量用户，推广成本不低啊。
|
 |
7
fanghui 2014-03-26 17:56:32 +08:00 1
使用了下，例子都挺好，难度可不低，采集v2ex的更新条目，没采集成功
|
 |
8
zouyun5152 2014-03-26 19:38:59 +08:00 1
不错，马克下
|
|
9
keven OP 呵呵，谢谢大家支持，我们采集过的网站很多了，目前还没有碰到采集不了的，可能是配置稍微有点不对，其实采集很简单的，一般的网站2分钟就可以配置完成。
|
|
10
keven OP @fanghui 刚试了一下，配一个完整的采集V2EX最新话题的，大约需要10分钟，规则已经放到八爪鱼采集器规则市场，下载即可直接跑出数据，使用本规则原理上可以采集V2EX所有话题，请大家以学习为目的使用该规则，遵守互联网职业道德。
以下贴出测试执行的前20条数据以便参考（直接从excel复制粘贴，格式混乱请谅解）： 标题 分类 发布人 发布时间 点击数 内容 回复数 网址 采集时间 订了一点 Github 的东东，部分东西可以出给 V 友 问与答 coagent 13 小时 45 分钟前 1252 "订了一点 Github 的东东，Github 发货在途： 2x Cork Coasters - Set of Four 2x Octocat Mug - White 2x Octobiwan Mug - White 2x Black GitHub Mug - Black 2x Octocat Laptop Decal - Octocat Laptop Decal 上面的可以全部出 下面的贴纸，偶要 20 张，其余出 2x Die Cut GitHub Stickers - 50 Pack 3""" 31 http://www.v2ex.com/t/105905#reply31 2014-03-26 23:12:32 android 开发一个外卖软件，关于商家信息存储 问与答 yanxiSir 2 小时 1 分钟前 80 android开发一个外卖软件，关于商家信息存储 使用xml文件存储 还是数据库存储呢？如果用数据库存储在服务器端 怎么连接数据库 求大神啊？ 小弟新手~=0= http://www.v2ex.com/t/106017#reply0 2014-03-26 23:12:37 有魅族的兄弟不??想买个 mx3 啊?求帮忙了..... 问与答 geew 2 小时 7 分钟前 94 这年头, 手机咋就这么难买啊.................................... http://www.v2ex.com/t/106015#reply0 2014-03-26 23:12:40 如果你在帝都有了 80 万，你会怎么用这笔钱？ 问与答 redf 8 小时 1 分钟前 971 23 http://www.v2ex.com/t/105964#reply23 2014-03-26 23:12:44 [太诡异] MBA 左 USB 插了移动硬盘就不能连 Wifi？ Mac OS X creamiced 5 小时 2 分钟前 169 "这几天在家经常连不上wifi，具体表现是路由器里的无线网络主机状态显示有设备，但是机子分不到ip，DHCP里绑定了也没有用。 排查了半天发现只有当左USB接口连了移动硬盘的时候才会这样。有网的时候插上去瞬间断网，推出移动硬盘（而且非要把USB拔掉）之后重新连wifi才能上网。 左USB连键盘或者U盘就一切正常，而移动硬盘连右USB也没问题。 另外的问题是左USB连iPad也会时断时续，右USB就一切正常。像是电压不足。 但是USB端口会导致无线网络的问题？太诡异了，各位有什么看法？ 对了移动硬盘是希捷1T，分了一个ExFAT和一个Timemachine." 4 http://www.v2ex.com/t/105996#reply4 2014-03-26 23:12:47 收个红米 note 加 200 求一个！！！！ 二手交易 revival83 3 小时 13 分钟前 154 2 http://www.v2ex.com/t/106007#reply2 2014-03-26 23:12:51 求高手帮我测试可汗新版的代码，不会高 PYTHON 这么复杂的东西。配置太麻烦了。https://github.com/khan https://www.khanacademy.org/ 急需啊。求指教。[email protected] 程序员 blackrose 2 小时 25 分钟前 117 http://www.v2ex.com/t/106012#reply0 2014-03-26 23:12:54 Patatap - 这个好好玩~ 分享发现 icevil 3 小时 15 分钟前 161 "尝试了各种组合，不厌其烦玩了半小时，哈哈~ http://www.patatap.com/" http://www.v2ex.com/t/106006#reply0 2014-03-26 23:12:57 求购小米 F 码一枚，或者红米电信版 二手交易 ste 4 小时 34 分钟前 143 RT，站内信联系。 3 http://www.v2ex.com/t/106002#reply3 2014-03-26 23:13:01 199 元到付出一罐一段奶粉,900g 的,品牌是 Friso 美素佳儿 金装美素力 二手交易 ibolee 9 小时 41 分钟前 193 "http://2.taobao.com/item.htm?id=37824052633&grade=7.0 需要直接拍~" 5 http://www.v2ex.com/t/105949#reply5 2014-03-26 23:13:04 600 出一个二手 UP，蓝色 M 号，使用不到一个小时。 二手交易 stonehoo 2 小时 11 分钟前 123 "设备本身没有问题，只是折腾下来发现买小了，另外不能蓝牙实时同步，用惯了fitbit 完全不适应啊。 图片请看我翻我的推特 @stonehoo 在amazon上买的，108刀，还税了120元。 请参考这里 http://www.amazon.com/gp/product/B00A17IA1S/ref=oh_details_o05_s00_i00?ie=UTF8&psc=1 没有淘宝链接，有想要的朋友可以旺旺我 istonehoo.taobao.com" http://www.v2ex.com/t/106013#reply0 2014-03-26 23:13:07 [十年后社交网络招聘] iOS 开发者 酷工作 thanksmymagic 2 小时 9 分钟前 125 "1. 网站介绍 10years.me，「十年后」是一个基于未来时间轴的全新社交网络，让人们可以分享梦想和未来人生，基于每个梦想分享想法和资料，并和有趣的人进行真实丰富的交流 我们现在还是一个创业团队，核心成员8人，多来自于复旦大学，成员背景有战略咨询、软件、设计、电影、法律等。也请理解由于我们所处的阶段，可能不能提供有竞争力的薪水水平，但我们会提供最好的创业氛围和工作环境。 网站已上线3个月，目前在快速成长，正在筹备iOS移动端应用。已经完成全套设计图以及后台数据接口。 2. 媒体报道 青年报：《“十年后，你会成为怎样的人？”90后复旦毕业生创“十年后”网站》 http://www.why.com.cn/epublish/node37623/node38430/userobject7ai384938.html 36氪：《我们能否依靠“梦想”构筑社交平台？》 http://www.36kr.com/p/208026.html Pingwest：《梦想时间轴“十年后”》 http://www.pingwest.com/demo/dream-can-be-social/ 复旦团委：《十年後-是创业更是梦想》 http://www.youth.fudan.edu.cn/new/index.php?action=information&second=0&id=3987 复旦人周报：《复旦合伙人：梦想在路上》 http://su.fudan.edu.cn/wiki/_media/su_fdrwk/349shu.pdf 3. 我们需要 # iOS移动app开发者 4. 参与可以得到 a. 参与并体验一个新兴社交网络的各方面扩张历程 b. 你的设计结果将在第一时间被世界各地的用户接触并体验 c. 基于十年后的平台广泛接触创业界、科技界、媒体以及NGO组织 d. 与十年后团队一起成长以及成为团队核心成员/合伙人的机会 5. 我们要求 a. 技术能力 # objective-c 基础 # 快速学习能力 # 最好有项目经验 b. 创业精神 # 由于我们处于快速扩张阶段，近期会进行密集的设计与开发，所以需要对所喜爱事业的专注和投入 6. 联系 如果希望加入我们，请将简历发送至 [email protected] 。我们会在一周内进行筛选并进行下一步的联系。谢谢。" http://www.v2ex.com/t/106014#reply0 2014-03-26 23:13:11 OS X 10.9 自动加载的环境变量在哪设置？/etc/profile 好像不起作用 Mac OS X xiaochong 1 天前 273 在/etc/profile 中配置了不起作用，source后只能在shell中使用，gui程序无效，怎么办？ 6 http://www.v2ex.com/t/105886#reply6 2014-03-26 23:13:16 Express 如何得到 angular 的 path？ node.js coolicer 13 小时 48 分钟前 441 "angular使用的是 localhost:3000/#!/user， app.get('/user') 好像不能用啊。" 13 http://www.v2ex.com/t/105904#reply13 2014-03-26 23:13:20 Stacksocial 的一个免费 Bundle，内含 7 款 APP（仅限于 Mac OSX） Mac OS X MrMario 6 小时 12 分钟前 368 "7 款软件分别是 ： X-Mirage、ClipBuddy、Elmedia Player Pro、cf/x Mosaic、Vidiary Video Journal App、Bits 以及 Sweetie。 链接： http://stacksocial.com/sales/the-mac-freebie-bundle-3-0 有需要的自取 https://assets-stacksocial.netdna-ssl.com/images/981/medium_mf.jpg" 2 http://www.v2ex.com/t/105979#reply2 2014-03-26 23:13:23 求一靠谱 游戏 UI 大拿 ，外包 或者合作 都行， 有意者联系我 设计 mm520911 3 小时 26 分钟前 109 "之前一直给公司打工，先想抽空余时间开发自己的游戏， 故在此寻一名靠谱 游戏 UI 大拿 ，外包 或者合作 都行， 游戏不复杂，简单。 有意者联系我。" 1 http://www.v2ex.com/t/106004#reply1 2014-03-26 23:13:27 台式机噪音很烦人如何解决？ 问与答 tywtyw2002 6 小时 19 分钟前 327 "自己和同学合租，住在一个屋子里面。 有一个台式机充当服务器，24小时开机，刚开始还感觉没啥太大问题，时间久了（半个月吧）就感觉台式机的噪音好烦人，但是由于再跑一些监控的东西又不能关机，有什么解决方法呢？ 昨天刚刚清完灰尘，但是感觉噪音依旧，用iphone的噪音测试软件，看了一下是50 - 60左右。 目前的温度是： Adapter: ISA adapter Ch. 0 DIMM 0: +58.0°C (low = +92.5°C, high = +124.0°C) Ch. 0 DIMM 1: +55.0°C (low = +82.0°C, high = +124.0°C) Ch. 1 DIMM 0: +57.0°C (low = +92.5°C, high = +124.0°C) Ch. 1 DIMM 1: +55.0°C (low = +90.0°C, high = +124.0°C) Ch. 2 DIMM 0: +57.0°C (low = +91.0°C, high = +124.0°C) Ch. 3 DIMM 0: +56.0°C (low = +91.0°C, high = +124.0°C) coretemp-isa-0000 Adapter: ISA adapter Core 0: +61.0°C (high = +88.0°C, crit = +100.0°C) Core 1: +64.0°C (high = +88.0°C, crit = +100.0°C) Core 2: +67.0°C (high = +88.0°C, crit = +100.0°C) Core 3: +66.0°C (high = +88.0°C, crit = +100.0°C) nouveau-pci-0700 Adapter: PCI adapter temp1: +59.0°C (high = +95.0°C, crit = +105.0°C)" 20 http://www.v2ex.com/t/105976#reply20 2014-03-26 23:13:31 去天才吧检测结果，是磁盘文件系统故障。 Mac OS X kinghenry 12 小时 30 分钟前 900 "http://www.v2ex.com/t/103183#reply91 在这个帖子里吐槽了mac os的不稳定。在连续三次五国之后，终于抗不住了，昨天去了天才吧检测，结果硬件没有问题，再检测磁盘的时候，跳出来说software故障。然后重装了系统，再把原来time machine的东西用迁移助手恢复回去。 现在系统是流畅稳定了，不过application经常有崩溃的情况。修复磁盘发现有大量的acl错误，google了一下发现迁移数据后就会这样。 所以，结论是，mac osx系统稳定性的确欠佳。友情提示，mac下不要折腾，尽量少装些应用，可以减少系统不稳定的可能性。减少使用cleanmymac这类工具可能也有助于避免系统不稳定（猜测）。" 26 http://www.v2ex.com/t/105920#reply26 2014-03-26 23:13:34 [不懂产品的设计师不是好前端] 前端求职，求入碗 求职 juo 5 小时 29 分钟前 254 "## 个人介绍 12年参加工作，第一年做java，大部分时间花在研究前端了，第二年业余时间自学Rails，年中时来到现在公司专职做前端； 喜欢创业公司的氛围，对产品、交互和设计非常感兴趣，公司产品现在这版[首页](http://starsworld.cn/)就是我跟设计师一起设计的，业余也经常去[Themeforest](http://themeforest.net/)上面模仿一些网站； ## 离职原因 13年6月以前端工程师的身份加入现在的公司，到现在快一年了，中间做过一些页面，跟产品经理聊过产品，跟设计师探讨过交互，有付出也有收获，但是不管对与错，产品方向不是我能决定的，说到底，我只是一个小小的前端，好桑心的感觉... ## 技能&框架 - HTML+CSS+JS+jQuery， 页面布局无压力，对IE兼容还欠缺 - 熟练使用并自定义Bootstrap，熟悉Foundation等流行框架, 熟悉Extjs - Ember.js 相当熟练，是当前最拿手的技能，可以使用Rails API + Ember.js完成完整的单页应用 <ul> - Rails, 能解决开发过程中常见问题，用过的Gem: devise, Omniauth, simple_form, mongoid, kaminari, jbuilder, carrierwave等 - 了解Node.js, 以及Grunt, Yeoman, Bower等开源工具 ## 作品展示 网址： http://starsworld.cn 明星世界官网, 响应式设计, Rails+Bootstrap； 包括[6个细小的应用](http://starsworld.cn/web)和一个[个人空间](http://starsworld.cn/starzone/leijia)，都是用Ember.js开发，都支持响应式 网址： http://juocode.github.io/ 个人博客 网址： http://deskapptrack.com/ 业余爱好, PSD 2 Html, 支持响应式 网址： http://codepen.io/juocode/ Codepen上有平时写的一些小Demo 网址： http://starsworld.cn/weixin/leijia 明星世界微信版,关注“正坤技术”服务号查看详情； 或使用手机访问http://starsworld.cn/weixin/leijia查看 网址： http://pan.baidu.com/s/1c0iovq4 个人简历 ## 我的优点: 学东西快，Ember.js一周上手； 有产品意识，能对产品发展提出自己的建议，不做单纯的程序猿； 做前端，品味很重要，当然品味因人而异，可以代替半个设计师 ## 个人信息 GIthub: https://github.com/JuoCode 邮箱: [email protected] QQ: 240035336" 4 http://www.v2ex.com/t/105987#reply4 2014-03-26 23:13:38 @fanghui |
 |
11
myAngel 2014-04-18 23:32:14 +08:00
我只想问一句，怎么能卸载掉？
控制面板卸载不了啊？ 不会是坑爹的货吧 |
Select Language