你写爬虫的目的是什么？

[kehr]

相信许多人都写过自己的网络爬虫。说说促使你写爬虫的目的是什么？用到了那些技术和工具？留下地址大家围观一下 ～\(^o^)/~

[janxin]

写了这么久没写过爬虫…我不是合格程序员…

[wvidc]

你猜猜
～\(^o^)/～

[john990]

为自己的网站弄点数据

[paicha]

微信公众号，教务系统成绩查询

[caiych]

……看漫画……网站不给打包下载……
以及抓一些数据测试算法……

[binux]

这是我的工作。。

[xuxu]

蛋疼的时候玩

[vitoziv]

毕业设计的时候，为了做一个移动版教务系统，爬了学校的教务系统数据..

[jsonline]

每个月都能看见有人发布一个新的爬虫……

[reverland]

显然是为了搜集信息

[csx163]

抓H种子
抓H图

果然H是第一生产力啊

[WildCat]

@paicha 这…怎么查？没API诶

[WildCat]

@paicha
@vitoziv

求如何爬正方教务系统
http://123.232.100.110:86

@csx163
你不怕查水表？

[Amoscoder]

工具用的Mechanize。。

@WildCat
你爬正方的教务系统难点在哪儿？很容易啊。

[vilic]

主要是提高生产力吧, Marketing Research 之类的. 还有就是之前做的外包, 是 SEO 工具, 统计数据用的.
另外现在自己的背单词应用也是爬的词库. 感觉经常会用到.
@WildCat 哈哈, 说道这个还真的爬过教务处网站抓课表, 虽然那个项目后来没继续搞了. https://github.com/vilic/ClassScheduleProxy

[xavierskip]

美女图！妹子图！无聊图！

[kehr]

@Amoscoder
@vilic

你们的教务系统外网能够访问么？比如查成绩，查课表之类的？我们这里只能通过内网进行。

如果外网无法访问，那么爬虫还能爬到数据么？

[bbiao]

要是能匿名回答就好了。

[kehr]

@bbiao 查水表的没有那么快～

[vilic]

@kehr 多数教务网貌似外网还是能访问的诶。