python抓某网站的数据，有什么可以模拟浏览器的吗？

[fdsfsdfsdf3334]

是这样的
要登陆某网站才可以抓数据

主要是他的登陆算法，无法破解，而且就算破解了，他也是一天一变 ，几个小时变化一次

所以我完全放弃破解他的算法的想法

如果我模拟浏览器登陆的话，只需要让浏览器自动填写表单，登陆即可，

之前用的qt c++开发的，用的webkit 做浏览器，然后 登陆，获取内容，然后进行操作

现在换python， 于是我用pyqt来做浏览器 辅助我获取数据，但这样的话，好累赘

有没有轻一点的框架 可以替代我的浏览器

不晓得我描述清楚了没

求大家帮助

[imom0]

把登录了的cookies导出行么，然后给爬虫用。

[Kjuly]

mechanize 或者 selenium

[kevinroot]

requests不行？是有验证码？

[geeklian]

想起来曾经单位内部网站上抓取数据，.net，的post请求里的一堆东西不知道干啥的。python抓不下来，结果我换的autoit+ie8...直接模拟鼠标键盘操作了。

[fdsfsdfsdf3334]

@imom0 软件需要长期在服务器上运行，cookies 3天过期

[fdsfsdfsdf3334]

@kevinroot 没有验证码，但不排除以后他可能增加验证码

[fdsfsdfsdf3334]

@Kjuly 哦 谢谢 我研究下

[airyland]

为了对付某站验证码在用的采集方法：
NodeJS + socket.io + phantomjs

1.建socket服务端

2.phantomjs 打开目标网站，执行表单填写，如果有验证码，则render一张图，调用stdin来手工输入验证码。在phantomjs里每隔一段时间执行get页面操作保持会话。与服务端建立socket连接

3.用NodeJS或者浏览器端javascript连接到socket服务端并发送采集请求，phantomjs里面收到请求并获取数据发送到客户端

done...

[fdsfsdfsdf3334]

@airyland 3Q

[lijinma]

@airyland phantomjs 很好很强大。

[Stile]

来个投机取巧的，这网站有手机版的么？有的话直接模拟手机不得了，改下UA就好，想咋弄咋弄！

[fdsfsdfsdf3334]

木有手机版的
@Stile

[Stile]

@fdsfsdfsdf3334 地址呢？我换UA试试。。嘿嘿 好奇中

[fdsfsdfsdf3334]

@Stile 淘宝

[Stile]

@fdsfsdfsdf3334 淘宝啊 ，你是想编辑商品？那用淘宝助理就可以了，没必要抓来抓去的。。。

[Stile]

@fdsfsdfsdf3334 淘宝也有手机版的啊，你可以登录 m.taobao.com 试试

[ibopo]

scrapy-js