Vineyard:开源分布式内存数据管理引擎

2021-01-20 11:16:52 +08:00
 sighingnow

我们最新开源了一个分布式内存数据管理引擎 Vineyard,它有这样一些特性:

  1. 分布式不可变数据的内存存储引擎
  2. 通过共享内存对上层应用提供零拷贝数据共享
  3. 对常见的数据结构(如 Tensor 、DataFrame 、Graph 等)提供内建高级 API 支持
  4. 内建的用于 I/O 、Migration 、Checkpoint 的可复用插件
  5. 完善的 C++ 和 Python 支持
  6. 集成 Kubernetes 以及 Helm,拥抱云原生生态,支持大规模的大数据分析应用

欢迎大家关注、试用和向 Vineyard 贡献代码!

1413 次点击
所在节点    数据库
8 条回复
v2webdev
2021-01-20 11:29:07 +08:00
阿里开源太吊了。
GM
2021-01-20 11:39:38 +08:00
先问一下有没有用个代码里写死的特殊 token,就能全权访问所有数据?
imkerberos
2021-01-20 11:52:18 +08:00
又来污染环境。
cholerae
2021-01-20 12:53:41 +08:00
不敢用阿里的开源
IDAEngine
2021-01-20 13:33:03 +08:00
请问代码里面有没有加密的黑名单 白名单,像 fastjson 一样,

denyHashCodes = new long[]{
-8720046426850100497L,
-8165637398350707645L,
-8109300701639721088L,
-8083514888460375884L,
-7966123100503199569L,
-7921218830998286408L,
-7768608037458185275L,
-7766605818834748097L,
-6835437086156813536L,
-6179589609550493385L,
-5194641081268104286L,
-4837536971810737970L,
-4401390804044377335L,
-4082057040235125754L,
-3935185854875733362L,
-2753427844400776271L,
-2364987994247679115L,
-2262244760619952081L,
-1872417015366588117L,
-1650485814983027158L,
-1589194880214235129L,
-1251419154176620831L,
-254670111376247151L,
-190281065685395680L,
-9822483067882491L,
33238344207745342L,
99147092142056280L,
313864100207897507L,
1073634739308289776L,
1203232727967308606L,
1459860845934817624L,
1502845958873959152L,
3114862868117605599L,
3547627781654598988L,
3688179072722109200L,
3730752432285826863L,
3794316665763266033L,
4147696707147271408L,
4814658433570175913L,
4904007817188630457L,
5100336081510080343L,
5347909877633654828L,
5450448828334921485L,
5688200883751798389L,
5751393439502795295L,
5944107969236155580L,
6456855723474196908L,
6511035576063254270L,
6742705432718011780L,
7017492163108594270L,
7179336928365889465L,
7442624256860549330L,
8389032537095247355L,
8409640769019589119L,
8537233257283452655L,
8838294710098435315L,
8925522461579647174L
0x86fc2bf9beaf7aefL,
0x8eadd40cb2a94443L,
0x8f75f9fa0df03f80L,
0x8fd1960988bce8b4L,
0x9172a53f157930afL,
0x92122d710e364fb8L,
0x94305c26580f73c5L,
0x9437792831df7d3fL,
0xa123a62f93178b20L,
0xaa3daffdb10c4937L,
0xb7e8ed757f5d13a2L,
0xbcdd9dc12766f0ceL,
0xc2eb1e621f439309L,
0xc7599ebfe3e72406L,
0xc963695082fd728eL,
0xd9c9dbf6bbd27bb1L,
0xdf2ddff310cdb375L,
0xe09ae4604842582fL,
0xe603d6a51fad692bL,
0xe9184be55b1d962aL,
0xe9f20bad25f60807L,
0xeea210e8da2ec6e1L,
0xfc773ae20c827691L,
0xfd5bfc610056d720L,
0xffdd1a80f1ed3405L,
0x761619136cc13eL,
0x1603dc147a3e358L,
0x45b11bc78a3aba3L,
0xee6511b66fd5ef0L,
0x10b2bdca849d9b3eL,
0x144277b467723158L,
0x14db2e6fead04af0L,
0x2b3a37467a344cdfL,
0x313bb4abd8d4554cL,
0x332f0b5369a18310L,
0x33c64b921f523f2fL,
0x34a81ee78429fdf1L,
0x398f942e01920cf0L,
0x42d11a560fc9fba9L,
0x440e89208f445fb9L,
0x46c808a4b5841f57L,
0x4a3797b30328202cL,
0x4ba3e254e758d70dL,
0x4ef08c90ff16c675L,
0x4fd10ddc6d13821fL,
0x527db6b46ce3bcbcL,
0x599b5c1213a099acL,
0x5a5bd85c072e5efeL,
0x5d92e6ddde40ed84L,
0x616323f12c2ce25eL,
0x63a220e60a17c7b9L,
0x6749835432e0f0d2L,
0x746bd4a53ec195fbL,
0x74b50bb9260e31ffL,
0x767a586a5107feefL,
0x7aa7ee3627a19cf3L,
0x7bddd363ad3998c6L
};
sighingnow
2021-01-20 19:38:54 +08:00
@GM 没有。Vineyard 中 data access permission 取决于 UNIX domain socket 的 permission bits,和 token 无关。
sighingnow
2021-01-20 19:39:14 +08:00
@IDAEngine 没有。
dbpe
2021-01-25 08:48:03 +08:00
和 Ignite 的优势是什么

这是一个专为移动设备优化的页面(即为了让你能够在 Google 搜索结果里秒开这个页面),如果你希望参与 V2EX 社区的讨论,你可以继续到 V2EX 上打开本讨论主题的完整版本。

https://www.v2ex.com/t/746609

V2EX 是创意工作者们的社区,是一个分享自己正在做的有趣事物、交流想法,可以遇见新朋友甚至新机会的地方。

V2EX is a community of developers, designers and creative people.

© 2021 V2EX