爬虫这一行太难了

[gouchaoer]

不干这一行不知道，现在我看到爬虫两个字就想吐
这玩意儿蛋疼的是需要去维护
看友商能搞为啥你不能搞？
维护代理之麻烦
你不知道哪里暴露了自己是爬虫，因为暴漏点太多了
你就想如果我是后台我怎么反你最釜底抽薪
那些用 scrapy 爬个图片爬个逼乎爬个京东评论啥的看到就烦

你们不知道我以前是个 php 后台，熟练的业务我可以飞快的搞，都是套路。。。可是自从入了爬虫坑，我 tm 从 py 到 php，自己写策略，因为根本没有可以参考的，自己编译 selenium 驱动，资源泄露，编译 chromedriver 因为绕不开 bug，搞安卓，写 chrome 扩展，自己猜友商怎么做代理方案复制，还搞出来了一些很 cool 的东西然而没暖用。。。znm 没有套路，太难了

[gouchaoer]

某合作的友商喜欢用 QQ，我也喜欢用 qq，他们太好了，业务熟练，问的问题很好，质疑的好，比不上别人

[chenqh]

大神教我写爬虫 a

[binux]

chrome headless 模式可以用了。直接用呗，还要什么编译。
限于工作限制，不能自己搞，不过我可以教你

[geelaw]

WebDriver 啊

[WildCat]

@binux 前辈，在伦敦找工作有什么经验可以分享吗

[binux]

@WildCat #5 我都是想去哪就直接投的。。

[GoBeyond]

scrapy 爬怎么了？

[lulinux]

看到楼主这样的自言自语就烦

[murmur]

都抛弃 phantom 了。。

[lekai63]

所以 php 成最烦的语言？！

[ob]

难才有市场。。

[Messiahhh]

对 爬虫的进攻比防守要难很多……

[panyanyany]

我用代理池去爬淘宝感觉还是可以的，只要控制好一个 ip 一小时内只爬几个页面，就很少被 ban。由于代理池里有 1k+个可用 ip，所以爬取效率目前来说可以接受。

[twm]

技术没啥难的 难的是斗智斗勇

[gouchaoer]

@binux 你会 chromium 二次开发么？我不想搞爬虫了，能带带我么？

[gouchaoer]

@twm 我觉得你说得对，爬虫太没技术含量了，可斗智斗勇我不行啊，我没勇气又懒，人也笨

[dongxiaozhuo]

@gouchaoer 爬虫的烦恼两件事：突破反爬，解析页面。前者基本等于：你猜，后者等于富士康员工。

[MrFireAwayH]

@binux 活捉跳蚤巨巨😱

[broono]

@dongxiaozhuo 卧槽了 简直吐出了我的心声。目前在做 PY 爬虫 996 开发维护，有的还要自己封装成接口给人用做实时在线查询啊了个去，一个注册查询的接口要请求一两百个站真是感觉体力不支。
对了，不知道富土康招不招人😂

[fuxkcsdn]

特意去翻了你的发帖记录，没错，你不就是在 v2 上发过 2 篇爬虫分享文章的作者嘛😳遇到瓶颈了？