biaobiaoqi
V2EX  ›  问与答

在给定的字典序的start和end区间里(start和end可以不等长),如何划分出n个子区间?(由于字典序本身就无法保证每个区间内的数据量,于是无法等分,只能差不多就好=.=)

  •  
  •   biaobiaoqi · Jun 26, 2013 · 3910 views
    This topic created in 4744 days ago, the information mentioned may be changed or developed.
    att

    具体的应用场景是,想对Hbase的数据做一个做一个mapreduce操作,需要实现InputFormat,将给定的Hbase rowkey的区间划分成等分的n分,让n个mapper来做。再抽象一下,其实就是字典序的区间做划分。

    不知道大家有没有什么比较简洁的想法?
    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4895 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 39ms · UTC 09:47 · PVG 17:47 · LAX 02:47 · JFK 05:47
    ♥ Do have faith in what you're doing.