你写爬虫的目的是什么?

2014-03-25 20:55:01 +08:00
 kehr
相信许多人都写过自己的网络爬虫。说说促使你写爬虫的目的是什么?用到了那些技术和工具?留下地址大家围观一下 ~\(^o^)/~
11471 次点击
所在节点    程序员
59 条回复
sb
2014-03-26 19:45:53 +08:00
@WildCat 直接模拟提交账号密码,不用验证码
sb
2014-03-26 19:52:26 +08:00
@WildCat 或者有几个登录页面是没有验证码的,可以模拟提交。
fengliu222
2014-03-26 20:05:21 +08:00
当然是拿种子。。不过有了迅雷云播之后,都是直接拿磁力链接什么的~~~
Lelouchcr
2014-03-26 22:07:02 +08:00
一开始是给某妹子爬别人豆瓣上的照片。
后来变成了工作。。。
summic
2014-03-26 22:11:37 +08:00
爬股票数据做投资参考
action
2014-03-26 23:10:20 +08:00
爬直播
airyland
2014-03-26 23:39:09 +08:00
@paicha 我看到你答“微信公众号,教务系统成绩查询”,以为是你写爬虫去采集微信公众号的文章。原来不是么?
cabinw
2014-03-26 23:44:02 +08:00
kimono解放了我
paicha
2014-03-26 23:53:50 +08:00
@airyland 额,表达不当,我是说在微信公众号里做的开发。
抓取微信这个有现成的应用: http://chuansong.me/
9hills
2014-03-26 23:55:51 +08:00
@kehr 内网爬完美解决
partysover
2014-03-27 01:30:22 +08:00
抓数据,然后计算,包装打包卖。
rainysia
2014-03-27 02:13:59 +08:00
我会说我在内网去抓了同事的工资条么...抓了后提了加薪... 加的没同事多...就走了...哎哎, 不作死就不会死
mclxly
2014-03-27 09:22:04 +08:00
@summic 你是怎么做数据分析的?我当时爬了一段时间,积累了几千万的数据,后来没有很好的分析思路,就放弃了。
sunocean
2014-03-27 09:41:07 +08:00
百度贴吧抓妹子图,我会乱说嘛
summic
2014-03-27 12:09:26 +08:00
@mclxly 最简单的就是看量价比,更多分析方法参见腾讯股票频道的智能选股
chengs2035
2014-03-27 12:56:33 +08:00
曾经自己写过C#程序,把百度的所有图片爬下来,花了一天,10多T。。。
dong3580
2014-03-27 13:48:37 +08:00
@chengs2035
抓链接存到数据库,我会说你一天10T,好大的硬盘,到快的网速啊.
anjiannian
2014-03-27 15:25:08 +08:00
@rainysia 太可爱了
Amoscoder
2014-03-28 10:56:04 +08:00
@9hills 内网你是如何解决的?

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/105871

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX