一个关于爬虫的抢购软件优化问题

[wc110302]

整体的抢购逻辑流程如下：

1.使用 selenium 模拟登陆拿到账号的 cookie 信息并保存

2.获取目标抢购角色的网页链接以及价格(发送生单请求时需要这两个参数)

3.完成生单之后进行支付，即发送支付请求

4.在进行支付请求时，需要拿到订单号，然而这里涉及到两个重定向，于是使用 allow_redirects=false，获取到正常的 cookie 进行下一步操作

5.在支付页面，需要发送支付请求，即输入密码后发送 post 请求，这里涉及到 md5+aes 加密，这里略过，js 是已经趴下来使用 pyexesjs 模拟，公钥是直接贴在支付页面的静态 html 里的，每次支付都会变化，所以已经没有步骤可以省略了

然后整个流程，在本机跑下来，大概是 1.8S ，其中生单 0.4S ，在浙江的服务器上，因为目标网站是搭在浙江的，ping 值理论是最小的，能够达到 1.0-1.3S 。但是这个速度根本无法抢购到目标角色，因为某宝已经能达到控制在 1S 以内，具体是多少 ms 不清楚。如下图

https://i.imgur.com/BTiutdQ.png

而我现在只能达到 1S+的速度 当然应该就是抢不到 虽然能够扣款成功 但是都会被退回

https://i.imgur.com/dms91fC.png

现在也不知道能有什么好的办法能够优化一下 加快速度了 确实也仔细看了 抓包下来 每个请求都仔细分析过 已经是没有可以省略的步骤了 但是为啥还是干不过某宝的那些人了 确实是很奇怪

[wc110302]

@Pionxzh 确实是这样的 自己尝试了好几次都无法成功 以前其实也写过这种抢购软件的 但是是用来抢购那种用库存的 一般情况下都是能抢到的 但是这次这个是抢购单个角色 所以必须达到第一才能够抢到 某宝的技术团队应该是工作室之内的吧 各种大牛云集 干不过

[locoz]

@wc110302 #15 你理解错了，我说的是你直接拿 nodejs 写一个试试

[xzbo]

老哥，你写的这个藏宝阁爬虫卖吗

[wc110302]

@xzbo 看了下你的注册时间-- 你是看到我的帖子专门注册的账号吗？ 其实脚本逻辑不难 GUI 那方面倒是花了不少功夫

[xzbo]

@wc110302 是的看你帖子注册的，自己看中几只阴阳师的账号，无奈别人都是软件再抢，手动根本抢不到，emmm......

[xzbo]

@wc110302 我自己写了一下，到最后订单支付这一块卡主了，数据加密不知道怎么破解

[xzbo]

@wc110302 门外汉有点不知所措。。。望大佬指点迷津，或者出售给我

[wc110302]

@xzbo 你可以留下你的联系方式~~~ 阴阳师那个我前两天才更新了 hhhhhh

[xzbo]

@wc110302 VX 595434709

[molake]

老哥，最近公司也要做个爬虫抢购，java 能开发嘛?之前没做过，求指教啊

[wc110302]

@molake 当然可以开发了 理论上就是抓包分析写代码 python 能做的 java 当然也能做

[molake]

@wc110302 主要是，抢购的话都是毫秒级别的差距，java 自身执行逻辑就比 py 慢一丢，不知道做出来可有 py 快啊，开发工期卡得紧

[himaozi]

老哥,能留个联系方式,讨论下吗~

[himaozi]

我的联系方式 vx 513893049

[fangli]

交流一下。。vx 18811447074

[luzhizheng]

这楼主是一个搞外包的,大家不要给骗了,加了 QQ 以后一直在忽悠,没两句就开始装逼,然后要我搞外包.
技术问题一个都不回答,问什么都说很简单自己搞,要不然就找我外包,真是没见过这种人,一点想探讨的精神都没有,还跟我装起逼来,说多了就开始骂我菜鸡,菜鸟,真的是给点阳光就灿烂,懂一点就开始装逼,你爸妈没有教过你做人的道理吗?真是悲哀.

[newyear012]

请问下楼主还在做吗？可以交流下，我也做出来差不多的，但是也是抢不到