应该从哪几个方面着手优化一个秒杀器呢?

2014-10-29 11:29:16 +08:00
 pythonfan
在捣鼓一个秒杀器,想实现的功能就是监控网址抢拍。目前是页面定时刷新,然后用beautifulsoup来解析目标页面,过滤目标实现的(自动填单暂时还没实现)。监控多个网址的时候,就是循环这个列表,比如,解析一个页面2秒,10个地址跑完就是20秒。有没有其他更好的方案呢?或者目前这个方案想跑得更快,该如何优化呢?
6031 次点击
所在节点    Python
37 条回复
pythonfan
2014-10-31 00:26:35 +08:00
@imn1 多谢,到时换lxml 试试
pythonfan
2014-10-31 00:29:18 +08:00
@exceloo 单js能搞?
pythonfan
2014-10-31 00:34:04 +08:00
@chemzqm 要用代理么?我现在直接本机在跑。。。
pythonfan
2014-10-31 00:37:12 +08:00
@20150517 c语言不熟悉。。。只能先python试试看吧,服务器的话打算打听下,在同个机房租个空间跑程序,这样应该会快些吧。
pythonfan
2014-10-31 00:40:14 +08:00
@TheLamb 水平还太菜啊,跟专业秒家比,估计汤都没的喝,哈哈~
pythonfan
2014-10-31 00:41:22 +08:00
@unfurl 这个就看人品了,咱打不开,人家也打不开啊,哈哈
pythonfan
2014-10-31 00:47:32 +08:00
@cdxem713 之前不够严谨,随便举得例子,刚刚看了下,整个请求-响应-解析流程大概0.3-0.5秒的样子。请问不停自动切换VPN地址是为了啥呢?
exceloo
2014-10-31 09:01:01 +08:00
@pythonfan 可以,油猴脚本,就是浏览器要一直开着
exceloo
2014-10-31 09:02:22 +08:00
@pythonfan 你也可以用易语言,黑产链都用这玩意写秒杀器。
unfurl
2014-10-31 09:14:24 +08:00
@pythonfan 我帮朋友写过抢nike限量发售的鞋子,用的是selenium,选的vps跟网站延迟5ms以内;不太热门的款式,成功率七八成,热门的鞋子…… 发售前一小时网页就几乎打不开了
cdxem713
2014-10-31 09:56:20 +08:00
@pythonfan 不换IP的话这么高的请求频率应该很容易被封吧,不太理解秒杀器的原理,好像和爬虫差不多?
pythonfan
2014-10-31 10:13:37 +08:00
@cdxem713 嗯,和爬虫类似啊,加个自动填单提交
cdxem713
2014-10-31 10:19:21 +08:00
@pythonfan 是爬虫的话,同一个IP并发请求太多肯定会被封的,之前做过稳定点的就是,开多个线程并发请求,然后隔几分钟暂停这些线程,切换VPN地址,再开始线程,这种就不容易被封了。
pythonfan
2014-10-31 10:26:33 +08:00
@exceloo 易语言应该还没python快吧?。。。
pythonfan
2014-10-31 10:31:35 +08:00
@unfurl 发售前一小时。。。这是大家都开始开挂的节奏啊。。。
pythonfan
2014-10-31 10:38:10 +08:00
@cdxem713 多谢,看来切换vpn也必须上啊,不过目前测试阶段还没被封,哈哈
cdxem713
2014-10-31 11:19:29 +08:00
@pythonfan 可以先试试大并发会不会被封,这个东西每个网站也有不同。这类垂直爬虫,我觉得解析速度比较次要,提高request/response的速度,然后在安全的前提下提高并发数才比较关键。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/142318

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX