这是一个创建于 2367 天前的主题，其中的信息可能已经有所发展或是发生改变。
我现在需要使用 WebMagic 爬虫国外的一个网站，彭博网，这个网站现在需要登陆并开通会员后才能抓取到正确的文章信息。我刚接触爬虫不久，始终无法正确的登陆上去。下面说说我的尝试： 1.我使用 httpclient 发送 post 请求模拟登陆,始终无法正常登陆。 2.我使用 selenium 打开页面登陆后，获取到了 cookie 再塞给 httpclientDownloader,依然无法登陆。
暂时不考虑全部使用 selenium 来爬数据，因为公司需求的数据量很大，而且我只需要文章内容，全部使用 selenium 来爬效率太低，无法满足我的需求。
所以有偿 300 元人民币求助有空闲的大佬帮忙看看，因为我不清楚是否是 WebMagic 本身的原因，所以需要会 Webmgic 的大佬模拟登陆上了之后能在 Spider 里也登录上。 selenium 模拟登陆的代码我已经写好了，需要梯子我也可以提供。
QQ：283259881
 |
1
wudixiaomianyang OP 归纳为一句话，保证模拟登陆成功以及 spider 运行时是登陆状态即可。其他不需要大佬操心。
|
 |
2
capo 2018-05-31 10:17:47 +08:00
友情提示：对方维权意识较强
|
|
3
wudixiaomianyang OP @capo 会员 30 刀一个月呢。登陆上了也得付费才能看到完整内容。现在卡在登陆不上。
|
 |
4
holajamc 2018-05-31 10:32:51 +08:00
如果能用 Python 的话 emmm 可以帮你做）
|
|
5
wudixiaomianyang OP @holajamc 不好意思。因为我其他几个爬虫都是用的这个框架。而且我不会 python，暂时不考虑了，不好意思
|
 |
6
LukeChien 2018-05-31 12:37:58 +08:00 via Android
周末可以无偿帮你看下
|
|
7
wudixiaomianyang OP @LukeChien 大佬加我 QQ 吧。
|
Select Language