要做采集系统，怎么设计采集系统的架构最好

2016-01-13 09:16:09 +08:00

xiyangyang

技术需求：
1. 多线程 java
2. docker 上开多个虚拟机
3. 能监控采集结果，采不到报警
4. 对采集源的采集频率可以定制
5. 兼容将来的大数据平台

请教各位大神，是否已经有这种系统架构了？没有的话，得自己设计了。

1925 次点击

所在节点

5 条回复

hienchu

2016-01-13 09:37:14 +08:00

采集什么数据？用什么设备？以前在学校都是直接用数据采集卡的配套软件，基本上这些功能都有了

xujif

2016-01-13 11:48:00 +08:00

pyspider

xiyangyang

2016-01-13 21:45:44 +08:00

@xujif

各种媒体平台都要采集，网站，论坛，博客，微博，微信等

sohoer

2016-01-14 09:01:50 +08:00

xiyangyang

2016-01-14 12:00:57 +08:00

@sohoer, 虽然跟我们想要的还有点距离。联系一下把， QQ ： 16983994

第 1 页／共 1 页

这是一个专为移动设备优化的页面（即为了让你能够在 Google 搜索结果里秒开这个页面），如果你希望参与 V2EX 社区的讨论，你可以继续到 V2EX 上打开本讨论主题的完整版本。

V2EX 是创意工作者们的社区，是一个分享自己正在做的有趣事物、交流想法，可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.