V2EX › jahan 的所有回复 › 第 4 页 / 共 11 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3 4 5 6 7 8 9 10 ... 11

❮

❯

2018-02-18 17:33:45 +08:00

回复了 jahan 创建的主题 › Elasticsearch › 外行问一下， elasticsearch+kinda 可以做多复杂的大数据分析?

@laxenade 谢谢。哪里会能看到案例呢

2018-02-14 08:36:12 +08:00

回复了 jahan 创建的主题 › Elasticsearch › 请教一下 elasticsearch 分析交易流水类的数据库文本（以||分割），如何才能导入到 elasticsearch 里面？ mapping？有没有工具可以直接通过 sql 转化成可以导入的格式呢？

@defunct9 大量的数据怎么整理成 json 呢，有没有现成的轮子呢

2018-02-14 02:28:47 +08:00

回复了 jahan 创建的主题 › Elasticsearch › 初学请 elasticsearch 数据文件如何设计？现有一堆数据，想导入进行分析，如何进行设计呢？

看了一下，5 张表中都有客户编码，所以如果都放在一个 index 下面，那么 index/表 1，。。。。index/表 5，就可以了？

2018-02-14 01:05:43 +08:00

回复了 jahan 创建的主题 › Elasticsearch › 初学请 elasticsearch 数据文件如何设计？现有一堆数据，想导入进行分析，如何进行设计呢？

@knktc 目前 oracle 里面的数据是做所有的客户的视图来实现的。
如果是给每一个客户下的表都加上一个客户字段，应该也可以完成这个功能。

@bayker 的意思是把客户对应的表放在一起?
@Hieast 和 @acepcs 的意思是，所有客户的数据一股脑放在一个 index 下面？

2018-02-14 00:59:46 +08:00

回复了 jahan 创建的主题 › Elasticsearch › 初学请 elasticsearch 数据文件如何设计？现有一堆数据，想导入进行分析，如何进行设计呢？

@Hieast 客户所有的表，以及表里的的字段都不会改变了。

2018-02-14 00:58:14 +08:00

回复了 jahan 创建的主题 › Elasticsearch › 初学请 elasticsearch 数据文件如何设计？现有一堆数据，想导入进行分析，如何进行设计呢？

@bayker 有关系的表都放在一个 index 下面：是将 A 客户的表 1，B 客户的表 1，。。。。都放在一起；其他类推。我理解的可对？
可能有一点我没有讲明白，A （ B,C,D,....）客户下面所有的表都没有 A （ B,C,D,....）客户的字段。
如果每个客户相同的表都放在一个 index 下，应该就乱了吧。
总是有点 sql 思维。

2018-02-13 14:14:17 +08:00

回复了 tianxiacangshen 创建的主题 › AdSense › adsense 收入截图，终于是要走出去了

如果是书籍下载站点，会不会被谷歌禁止？版权啊

2018-02-12 14:29:41 +08:00

回复了 tianxiacangshen 创建的主题 › AdSense › adsense 收入截图，终于是要走出去了

@ tianxiacangshen 请教下，这种 adsense 怎么上路呢?怎么做内容的呢？

2018-02-10 10:56:33 +08:00

@jerome918 现在就是想通过 sql 建表语句直接转换成索引，初学没找到特别踏实（ step by step，表和索引怎么对应）的例子。

2018-02-09 18:32:42 +08:00

@SakuraKuma 建立索引这块，有没有工具可以直接把 sql 建表语句变成索引?

2018-02-09 18:31:15 +08:00

如果有比较精简、完整的文档推荐，那就太感谢了

2018-02-09 18:29:43 +08:00

@SakuraKuma python 可以写。有现成的可以参考吗？

@lfzyx 谢谢。
@tomczhen 我来试试。就是这几个工具都有点摸不着头，说命令行吧，貌似也不是，说网页吧，貌似很少键可以点击。
刚刚学习。

话说一次能读多大的文本块？

2018-02-09 16:44:05 +08:00

@kslr 我现在的情况是文件是从数据库导出的 del 备份，有建表语句，但是数据库损坏了。所以可能不能直接从数据库导出了。

2018-02-09 16:42:47 +08:00

https://www.jianshu.com/p/1bf53ebfcdcf

貌似这个有一个 txt 的导入，不过我文件里面不单单是字符型？还有金额，这样的话，该怎么给字符定义类型呢？

2018-02-09 12:31:50 +08:00

回复了 gejigeji 创建的主题 › 程序员 › Elasticsearch 数据导入求助~

@shoumu 写脚本的意思是将每一行转换成 json ？

2018-02-09 12:30:41 +08:00

回复了 gejigeji 创建的主题 › 程序员 › Elasticsearch 数据导入求助~

借楼询问。
同样是很多带有分隔符的数据库导出文件，想导入 elasticsearch，有没有现成的工具或者 python 脚本？
有没有可视化配置的工具呢？ logstash ？

2018-02-08 20:43:53 +08:00

回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧

@idcspy 你这回复这么幽默，要我怎么回答呢，谢谢鼓励（挖苦）吧。如果再实在点透露点细节那就更好了。

感谢大家提供的信息，非常有价值。

2018-02-08 20:41:24 +08:00

回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧

@defunct9 非常感谢，少不了要请教你。
上面提供的链接也非常有用，准备先 elk 试试。

2018-02-08 02:16:30 +08:00

回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧

@fireapp 非常感谢提供思路。不过 5t 已经是清洗过的数据了。elk 的方案也是类似直接 rawdata 开干。hadoop 的好处是有个地方保存，不过开始设计文件目录也是比较麻烦的事儿。

2018-02-08 02:10:12 +08:00

回复了 jahan 创建的主题 › 数据库 › 怎么搭建一个大数据分析平台呢？想搭建一个自用的平台，数据量也不是很大 5T 左右吧

@defunct9 搭过 600 台的集群，一开始做试验的时候用的 saltstack 的脚本，自动部署，两个 namenode，一个 hue+hive+pig+管理，三个 zookeeper+journalnode，3 个 datanode，用的 cloudera。没整理文档。没什么难度=================================
请教一下 saltstack 脚本哪里可以找到？谢谢。

1 2 3 4 5 6 7 8 9 10 ... 11

❮

❯