V2EX › fiht 的所有回复 › 第 33 页 / 共 42 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 ... 25 26 27 28 29 30 31 32 33 34 ... 42

❮

❯

2017-09-20 22:40:57 +08:00

回复了 saximi 创建的主题 › Python › 请问有没有这样的爬虫代码范例

楼上让新手用 scrapy 实现随机 UA 和代理 IP 你们是认真的么...

2017-09-20 21:53:08 +08:00

回复了 saximi 创建的主题 › Python › 请问有没有这样的爬虫代码范例

https://gist.github.com/anonymous/4a7f7d2c1efbbaaa515f0031cea9c4b2
写了个简单的，本地环境有问题没直接跑但是大概写了一下思路。能够实现楼主的大部分需求了。
楼上上来就说框架的未免有点太新手不友好了。
其实爬虫就两件事情，模拟用户访问，grep 出想要的内容然后保存起来。
模拟用户访问无非就是发送一个 http request，或者通过浏览器发送 JS 加密过的 http reqeust。这个每个语言都有自己的 http client，应该也是都有自定义类似 User-Agent 头、设置代理 IP 这样的功能。所以第一步的解决方案是看对应语言的 API 的 http client 如何自定义发送内容：比如讲上面说的自定义 UA，如何 POST 数据，如何设置代理 etc...
第二部保存起来，你可以写文件，写数据库，或者写入其他的存储引擎。我们通过第一步就得到 html 代码了，grep 出来可以用正则表达式，或者基于 dom 树去选取。然后就更加不是问题了。

============
以上内容面对新手，同样适用于简单爬虫。

2017-09-19 21:34:32 +08:00

回复了 sensui7 创建的主题 › Python › 请问 Python 处理文本文件都要这样麻烦吗

大家辛苦一天了
想来论坛吹吹牛逼
然后看到楼主这么脏 /乱 /差（初级）的代码
还把锅甩给蟒蛇
就很生气

-------------
发现一个人
用着和我们一样的小轿车
却要推着走
一边推还要
这小轿车开起来真麻烦

2017-09-19 21:22:53 +08:00

回复了 zgbgx1 创建的主题 › Python › 问个问题，要把淘宝支付宝的登陆完全用 requests urllib 写出来，需要多强的前端和爬虫水平

无法量化
成本过高
不如用印度云手工登录生成 cookie

2017-09-17 22:38:34 +08:00

回复了 assad 创建的主题 › 程序员 › 京东出了京享值，一看自己快小 10 万，这玩意能干嘛？

据说是钻石会员不给免邮券了...
还好我机智的买了两年会员普拉斯

2017-09-17 22:28:29 +08:00

回复了 zxc337 创建的主题 › 分享创造 › 程序员名单 --- 专业收录各类程序员博客

看到了随手甩一个
https://blog.fiht.me/
越来越忙，花在博客上的时间也越来越少了