求网站数据实时抓取方案

[CyrilC]

求有网站数据实时抓取方案的大神，数据来源是关于菠菜的网站，有兴趣可以留下 money/day 和 联系方式，项目只包含抓取数据（文字和视频连接）到数据库部分，语言不限，由衷感谢

[xingzhi]

做过多个小说网站更新的监控， 也抓取&监控 google play & Appstore 多国家的全量数据。
有兴趣，薪酬得按项目难度和工作量来评估。
联系： lvyaojia # gmail

[ppto]

微信 ppto86

[crayonyi]

我写过一个分布式的可配置的爬虫，爬过图片站、视频站、咨询站，支持爬取 api 和网页。
数据可以存取在 mysql 、 mongdb 多种数据库。也支持爬取速率、代理、浏览器壳等配置。
这是数据展示的站点： http://py.bowenpay.com/

爬虫的源代码： https://github.com/yijingping/unicrawler

有兴趣可以在 github 上 follow 我，加微信。

[pyengwoei]

你是要抓取什么菠菜网站的数据啦， 是球 还是视频的？
有些菠菜网站是不能注册会员的只能在代理哪里去开账户
我前段时间恰恰帮人做了 一个项目，是抓取的利己娱乐城 www.sbobet.com 和 IBC www.maxbet.com
你是需要这样子的数据吗
东南亚的很多菠菜小公司 我都给他们提供数据
具体的 你加我 QQ ： 64063823
http://prntscr.com/a6ts0s

[pyengwoei]

滚球实时抓取更新滚球 ，可以多家网站同时抓取，然后把数据按照配置百分比再组合，比如 A 网站你设置取 80% B 网站设置 20% 那这个新赔率就是 A 网站赔率的 80 +B 网站赔率的 20%

[sunchen]

@xingzhi 悄悄告诉你 app store 的数据可以直接下载，不需要爬啊

[xingzhi]

@sunchen 我抓的是不同国家的全量 app 数据和所有用户评论
你悄悄告诉我这些数据的下载地址吧 ：）

[sunchen]

@xingzhi https://www.apple.com/itunes/affiliates/resources/documentation/itunes-enterprise-partner-feed.html#schema

评论数据好像没有

[CyrilC]

= =各位大神,已有人接手,但看你們的討論好像沒我啥事