大数据学习个人项目： SZT-bigdata 深圳地铁大数据客流分析系统，开源了

[429463267]

   ___     ____   _____           _         _      __ _      _             _
  / __|   |_  /  |_   _|   ___   | |__     (_)    / _` |  __| |   __ _    | |_    __ _
  \__ \    / /     | |    |___|  | '_ \    | |    \__, | / _` |  / _` |   |  _|  / _` |
  |___/   /___|   _|_|_   _____  |_.__/   _|_|_   |___/  \__,_|  \__,_|   _\__|  \__,_|
_|"""""|_|"""""|_|"""""|_|     |_|"""""|_|"""""|_|"""""|_|"""""|_|"""""|_|"""""|_|"""""|
"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'

项目说明🚩：

🎈该项目主要分析深圳通刷卡数据，通过大数据技术角度来研究深圳地铁客运能力。
✨🎉 强调学以致用，本项目的原则是尽可能使用较多的常用技术框架，加深对各技术栈的理解和运用，在使用过程中体验各框架的差异和优劣，为以后的开发项目选型做基础。
👑 解决同一个问题，可能有多种技术实现；实际的企业开发应当遵守最佳实践原则。

核心技术栈(持续更新)⚡：

Java/Scala
Flink-1.10
Redis-3.2
SpringBoot-2.13
knife4j-2.0 （前身为 swagger-bootstrap-ui ）
kafka-0.11 (最佳 CP kafka-eagle)
CDH-6.2
Docker
Elasticsearch-7
Spark-2.3
Hive-2.1
Impala
HBase
...

github： https://github.com/geekyouth/SZT-bigdata

[levelworm]

国内还有这数据，不错啊！可以撸一把，像你说的用 Kafka 做成实时流。

[tigerstudent]

好奇数据源哪里来的？

[tigerstudent]

噢，看到 readme 里的描述了

[1more]

正好最近在研究 kafka，已 star

[wudalang123]

我也好奇数据来源在哪里

[wudalang123]

@tigerstudent 找到了数据源🌍：

深圳市政府数据开放平台，深圳通刷卡数据 133.7 万条 [离线数据] ，https://opendata.sz.gov.cn/data/api/toApiDetails/29200_00403601

理论上可以当作实时数据，但是这个接口响应太慢了，于是本项目采用离线思路处理。当然，如果采用 kafka 队列方式，也可以模拟出实时效果

[Juszoe]

楼主的 commit 都带有 emoji

[LeeSeoung]

最好介绍下哪些设计用了哪些框架组合？

[429463267]

@levelworm
据我所知，目前国内北京、上海、深圳这三个城市都开放了城市公共数据，权威性还是有保证的。

[429463267]

@1more
抛砖引玉，我也是个菜逼😂😂😂

[429463267]

@Juszoe

win10 自带功能，win + 半角句号即可调出 emoji 面板
😏😏😎😎😎💖💖💖

[429463267]

@LeeSeoung

目前项目边做边演进，readme 里面宗旨是尽可能多的用到大数据主流技术。

[misaka19000]

感谢楼主，学习一下~~~

[mwcodenoname]

@429463267 好像不止，搜了一下广州成都都有

[mwcodenoname]

@levelworm 请问你之前有没有在 sonicbbs 论坛混迹过？ ID 看着有点眼熟

[429463267]

@mwcodenoname

没逛过这个论坛😒

[IMASHER]

老哥服务器啥配置？几台？

[429463267]

@IMASHER
我有一台主机，两台笔记本，安装了 vmware centos7，总计三台机器。。

[429463267]

https://raw.githubusercontent.com/geekyouth/SZT-bigdata/master/.file/.pic/szt-data-2018-09-01.png
实时跟踪刷卡统计功能已实现

[levelworm]

@mwcodenoname 打倒八尺！