我对爬虫的理解是不是有偏见?

2017-02-18 16:16:05 +08:00
 einvince
总觉得爬虫是个脏活累活,数据是很宝贵的资源,可以做很多事情
但是爬虫的被动型太强,因为总是要跟随者别的网站去更新和解析,每个网站的 DOM 也不一样
所以感觉做爬虫这块对职业发展来说,不是很有利

不知道我是不是对爬虫有误解和偏见
3521 次点击
所在节点    问与答
21 条回复
imn1
2017-02-19 13:23:19 +08:00
爬虫只是一种输入方式

大多数涉及数据的行业都需要爬虫
例如與情分析,难道派人每天一条条微博、一条条微信去看么?

职业规划什么的,其实也不用想太多,职业是市场决定
我 90 年代想做这方面的规划也没用,因为那时市场除了调查公司没有“大树锯”的需求
而现在,也不能做出很好的规划,因为现在大树锯还流于表面(只是算算占比、同比、环比之类),很多实际需要数据分析的行业还未能“见到”大数据的好处

现在国内真正做数据深挖的是气象、地震、医药、部分重化工、证券、少数农业、以及一些科研单位或军事单位
国外除了上述还有自动驾驶、探索(地球、太空、考古)、日用化工、零售……等等,覆盖面已经逐渐铺开
国内的零售、服装、服务业……还处于浅挖

爬虫狭义的就是互联网爬虫,爬的就是文字信息,技术加强肯定离不开深度、广度、速度这三方面,这是回应 LZ 的
但广义爬虫就多了,离开互联网,用仪器辅助获取信息,都是爬虫,例如 google 用无人驾驶汽车收集地图信息,如果你有“预见”,可以用无人机收集信息啊
还记得《 X-File 》么?利用天花接种收集公民 DNA 信息……呃,扯远了

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/341417

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX