应该从哪几个方面着手优化一个秒杀器呢?

2014-10-29 11:29:16 +08:00
 pythonfan
在捣鼓一个秒杀器,想实现的功能就是监控网址抢拍。目前是页面定时刷新,然后用beautifulsoup来解析目标页面,过滤目标实现的(自动填单暂时还没实现)。监控多个网址的时候,就是循环这个列表,比如,解析一个页面2秒,10个地址跑完就是20秒。有没有其他更好的方案呢?或者目前这个方案想跑得更快,该如何优化呢?
6031 次点击
所在节点    Python
37 条回复
pimin
2014-10-29 11:47:43 +08:00
1.开多线程,每个查询一个线程。
akira
2014-10-29 11:51:31 +08:00
每个地址单独开个线程来监控吧
gs038538
2014-10-29 13:29:31 +08:00
关键是 抢的到
pythonfan
2014-10-29 13:34:03 +08:00
@pimin
@akira
多谢~
pythonfan
2014-10-29 13:35:01 +08:00
@gs038538 嗯,下一步准备做自动下单,每一步都要优化,否则真抢不到。。。
limbo0
2014-10-29 14:46:07 +08:00
前几天那个说不要在淘宝拍卖的帖子难道在指楼主
gs038538
2014-10-29 14:57:23 +08:00
@pythonfan 哈哈,是啊~~抢不到,再怎么优化不都是0吗?
no13bus
2014-10-29 15:18:44 +08:00
@pythonfan celery
imn1
2014-10-29 17:35:33 +08:00
bs慢,想快首先换 lxml 或其他更快的dom解析,能用regex就更好,因为载入dom树比载入文本耗时
exceloo
2014-10-29 18:38:05 +08:00
用js...
chemzqm
2014-10-29 19:38:22 +08:00
多进程多代理,要是同时开抢,你一个循环刚开始人家都抢完了
20150517
2014-10-29 23:44:55 +08:00
beautifulsoup光这处理速度就已经秒了,这玩意
1. 要服务器离秒的服务器近
2. 用python太慢,最好直接c语言
TheLamb
2014-10-30 00:57:46 +08:00
这双十一快到了,LZ加油,到时候给我们测试一下
ClownQiang
2014-10-30 11:20:11 +08:00
同求测试。。。
unfurl
2014-10-30 11:51:14 +08:00
没用的…
关键时候页面能不能打开都是问题
cdxem713
2014-10-30 16:58:03 +08:00
感觉解析一个页面两秒太慢了,按理说不会这么长时间的,你的解析是指请求-响应-解析的一整个流程么?
cdxem713
2014-10-30 16:59:34 +08:00
开多线程,然后挂VPN不停自动切换VPN地址会快很多
pythonfan
2014-10-31 00:19:21 +08:00
@limbo0 哪个帖子?没看到啊
pythonfan
2014-10-31 00:21:35 +08:00
@gs038538 努力试了才知道嘛~最后如果秒不到,只能说技不如人了。。。
pythonfan
2014-10-31 00:25:44 +08:00
@no13bus celery还没用过,不知道是否适合这样的场景。。。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/142318

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX