求大神指教抓取各大 ota 的机票,酒店报价。比如携程,去哪,艺龙。

2014-11-13 12:26:54 +08:00
 letuslinux
感觉这些ota都有防抓取啊,太噁心了。
3975 次点击
所在节点    程序员
11 条回复
letuslinux
2014-11-13 12:34:28 +08:00
自顶一发
sivacohan
2014-11-13 13:07:55 +08:00
看你想用多少钱,多少时间解决这个问题。
takwai
2014-11-13 13:27:51 +08:00
benjiam
2014-11-13 17:12:49 +08:00
要很多很多代理, 某些ota 我知道定期用机器学习来看你访问的内容,只有网页 没有css, jpg的这种访问,立刻就被关闭了。如果一个劲的抓,也是很容易就关闭了,毕竟防比抓简单。
letuslinux
2014-11-13 17:42:14 +08:00
@benjiam 嗯,只有靠某些公网的出口ip去抓,这样的话,他们就不敢防了
GeekGao
2014-11-14 09:25:19 +08:00
@letuslinux cookie + 验证码 + 频率限制。你公网ip再牛叉也要解决验定期被block的问题啊!
zzcworld
2014-11-14 09:40:14 +08:00
模拟正常用户点击的频率,时间间隔变化要大一些
zaqer
2014-11-14 10:39:12 +08:00
有api的,貌似还可以拿佣金
benjiam
2014-11-14 11:45:27 +08:00
@GeekGao 如果cookie 加验证码 那他们就不用开网站了。 他们的难度是 一开始要信任你,然后快速甄别出你。
GeekGao
2014-11-14 15:15:17 +08:00
@benjiam 连google都有验证码 ,你一段时间内访问频率高了,就看到了。你不知道?
benjiam
2014-11-14 17:10:04 +08:00
@GeekGao 和我说的有冲突嘛? google 也是一开始就信任你,不给你验证码。但是很快就甄别出你是个爬虫 给你验证码。 ota 也一样。

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/146146

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX