开始在简书上写 Python 爬虫系列文章

2017-04-01 09:34:57 +08:00
 wisefree

第一篇: http://www.jianshu.com/p/11d7da95c3ca

这一系列文章不写复杂的爬虫,而是将复杂的爬虫涉及到的核心知识点写清楚

  1. 代理池(高匿)

  2. 多进程

  3. 正则表达式

  4. 数据库

  5. selenuim

  6. 手机抓包

  7. ....

希望 V 友能提提建议,能投稿就更好了

11289 次点击
所在节点    Python
82 条回复
Or2
2017-04-03 09:58:28 +08:00
大神,我有一个公司名列表,需要搜索对应的编号。然后根据编号再找另一编号,这种怎么写爬虫啊?
falcon05
2017-04-03 11:10:56 +08:00
支持,正在学习
wisefree
2017-04-03 12:14:46 +08:00
@Or2 呃,不好意思,我没有理解你的问题,~_~
wisefree
2017-04-03 12:15:14 +08:00
@falcon05 嗯,欢迎投稿哈
Or2
2017-04-03 13:05:35 +08:00
@wisefree 哦,有一个公司列表[a,b ...] 要去网站 A 找到对应的编号 a 对应 111 , b 对应 222 ,等等,然后再根据编号 111 去网站 B 找到对应的 a 的数据,然后再找 b 的数据。
wisefree
2017-04-03 14:48:30 +08:00
@Or2 这个过程挺清晰, 你在写代码的过程中,遇到的具体问题是什么?
xiaoke0718
2017-04-03 16:45:44 +08:00
@wisefree 你有没有写学习经历故事?
wisefree
2017-04-03 17:42:08 +08:00
@xiaoke0718 学习经历故事?这个还真没有。。。我是学石油专业的,想转行而学习 Python ,学习 Python 时间还较短。等我入门时间长了,可能会分享自己学习经历吧,:)
xiaoke0718
2017-04-03 21:38:27 +08:00
@wisefree 厉害 对了 你利用空闲时间做什么?
wisefree
2017-04-03 22:11:39 +08:00
@xiaoke0718 学习运营知识,我想成为一名运营者,,,我真的不厉害,只不过喜欢挖坑。你也是学 Python ?
Or2
2017-04-03 23:12:21 +08:00
@wisefree 第一步 a 到 111 :中间需要在网站 A 搜索一下,这步就不太会写。
wisefree
2017-04-04 10:10:58 +08:00
@Or2 你到网站 A 搜索一下,观察搜索的网址构造的具体形式,然后构造网址(以公司为变量)进行请求
Or2
2017-04-04 10:34:58 +08:00
@wisefree ,你一说我明白了。谢谢啦!
cpygui
2017-04-04 14:26:11 +08:00
好奇你 1 和 2 打算怎么写
wisefree
2017-04-04 15:00:23 +08:00
@cpygui 这个看文章的反馈和大家的建议吧。只讲最实用的部分,同样不讲基础。比如进程和线程的区别,这个不会在文章中出现。

近期不会更新这两大部分,我要去找工作了,还有很多运营和机器学习的知识要学。。。
wisefree
2017-04-04 15:01:30 +08:00
文章的反馈比较少,我不会投入太多的时间去更新,坑会填完,但是不会太快。

好多新知识要学,近期还会再挖几个坑
sheer
2017-04-04 19:16:05 +08:00
正在学习><
xiaoke0718
2017-04-05 08:11:36 +08:00
@wisefree 厉害 对了 你利用空闲时间做什么?
@wisefree 嗯是的
wingyiu
2017-04-05 19:08:44 +08:00
Python 技术分享的乱象 https://zhuanlan.zhihu.com/p/26149723
>>>>>>
现在知乎上 Python 相关内容有以下三大特点:

1. 绝大多数是写爬虫的。
wisefree
2017-04-05 19:40:53 +08:00
@wingyiu 哈哈,不评论这篇文章

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/351900

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX