从多个平台拉取数据(如携程景点，美团景点)，落到本地，用什么架构或者设计模式合理呢？

[cais]

现在有这样的需求：本地有自己的景点结构，通过调用各景点平台拉取数据存到本地，主要考虑兼容和可扩展，后续会接各种不同结构的景点结构，大家提提建议，暂不考虑性能，并发。

[julyclyde]

首先，这是违法的

[xwayway]

针对不同平台写爬虫呗，搞个中间表，然后数据一条条洗成自己的数据结构

[mxT52CRuqR6o5]

首先爬虫违法，而且美团携程应该都是有很麻烦的反爬的
你不如直接去和美团携程沟通看看他们跟不跟你合作让你能直接调用数据

[ospider]

首先，不是爬虫违法，而是窃取商业数据并变现违法。

适配器模式挺好，但是重点不是代码设计吧，是数据格式和数据库模式设计。

[julyclyde]

@ospider 不商业，不变现，也可以违法

[ospider]

@julyclyde 是的，爬虫罪大恶极，建议先把李彦宏抓起来凌迟处死

[markgor]

美团没开放这些接口，携程有开放，但申请条件比较高，我只是对接过驴妈妈的，
驴妈妈是 PULL + PUSH 形式，一般每个月全量拉一次，后续产品信息变动会 PULL 对应的 ID 过来，然后再拉指定 ID 的信息即可。
基本每个 OTA 的接口数据都不一样，自己做下 mapping 就行了。

[cais]

@ospider 本地数据格式已经定了 所以想着看看能不能通过后续容易扩展。

[cais]

@markgor 嗯 我们也是已经做完对接一个平台了，也是全量加增量的形式，只能做 mapping 对照了

[kjstart]

我觉得不用太复杂, 统一一下数据结构, 主要是往你自用的属性上靠. 然后封装成数据接口.
再为每个网站单独写 client 就可以了. client 也需要统一的接口和基类, 主要负责代理服服务器, 访问延迟, 更换 UA 和新建 http 连接, cookie 独立存储, 打码服务集成之类的...
然后你这些 client 就可以用线程池统一管理了.