V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
RangerWolf
V2EX  ›  问与答

刚开始接触 HDFS, 想问下如何把 HDFS 当成网盘使用?

  •  
  •   RangerWolf · 2018-05-20 09:34:23 +08:00 · 3122 次点击
    这是一个创建于 2139 天前的主题,其中的信息可能已经有所发展或是发生改变。
    当前跟小伙伴一起用的解决方案是 minio, 但是在遇到需要批量读取数据的时候 minio 单点跟不上了.
    而且让 Spark 来读写会非常的绕.

    后来搭建了 HDFS, 对 Spark 来说很开心了, 但是对普通的文件存储于分享又成了问题.

    Google 到有 HttpFS, 但是看起来并不支持 WebUI 操作?

    我觉得是我刚接触, 孤陋寡闻, 应该有相关的开源项目吧? 小团队真心不想搞两套存储系统...
    第 1 条附言  ·  2018-05-20 17:52:22 +08:00
    可能没表达清楚需求.

    除了 HDFS 的基础功能, 还想方便平时简单的使用场景, 比如:

    1. 在 WebUI 上面能手动的上传\下载一个文件
    2. 类似各种常见的云存储方案那样, 区分不同的 bucket
    3. 最好还能有简单的搜索功能

    有以上功能, 就可以满足我们绝大部分使用需求了
    6 条回复    2018-05-20 21:39:39 +08:00
    xhinliang
        1
    xhinliang  
       2018-05-20 09:49:08 +08:00
    我也想知道
    liprais
        2
    liprais  
       2018-05-20 10:05:09 +08:00
    没看懂你到底想干啥
    webHDFS 了解一下
    ipwx
        3
    ipwx  
       2018-05-20 12:25:13 +08:00 via iPhone
    小机群可以考虑 moosefs 这类 posix 文件系统
    zn
        4
    zn  
       2018-05-20 13:04:58 +08:00 via iPhone
    HDFS,网盘??

    What the f**k?
    lockelee
        5
    lockelee  
       2018-05-20 18:33:53 +08:00 via iPhone
    所以 七牛云 阿里云 oss 了解一下
    RangerWolf
        6
    RangerWolf  
    OP
       2018-05-20 21:39:39 +08:00
    @lockelee 还是得自建小型数据中心做计算啊
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1014 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 19:44 · PVG 03:44 · LAX 12:44 · JFK 15:44
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.