Vineyard：开源分布式内存数据管理引擎

sighingnow · 2021-01-20T03:16:52Z

我们最新开源了一个分布式内存数据管理引擎 Vineyard ，它有这样一些特性：分布式不可变数据的内存存储引擎通过共享内存对上层应用提供零拷贝数据共享对常见的数据结构（如 Tensor 、DataFrame 、Graph 等）提供内建高级 API 支持内建的用于 I/O 、Migration 、Checkpoint 的可复用插件完善的 C++ 和 Python 支持集成 Kubernetes 以及 Helm，拥抱云原生生态，支持大规模的大数据分析应用欢迎大家关注、试用和向 Vineyard 贡献代码！ Github 地址： https://github.com/alibaba/libvineyard （欢迎加🌟）文档： https://v6d.io Helm charts: https://artifacthub.io/packages/helm/vineyard/vineyard

This topic created in 1968 days ago, the information mentioned may be changed or developed.

我们最新开源了一个分布式内存数据管理引擎 Vineyard，它有这样一些特性：

分布式不可变数据的内存存储引擎
通过共享内存对上层应用提供零拷贝数据共享
对常见的数据结构（如 Tensor 、DataFrame 、Graph 等）提供内建高级 API 支持
内建的用于 I/O 、Migration 、Checkpoint 的可复用插件
完善的 C++ 和 Python 支持
集成 Kubernetes 以及 Helm，拥抱云原生生态，支持大规模的大数据分析应用

欢迎大家关注、试用和向 Vineyard 贡献代码！

Github 地址： https://github.com/alibaba/libvineyard （欢迎加🌟）
文档： https://v6d.io
Helm charts: https://artifacthub.io/packages/helm/vineyard/vineyard

vineyard

分布式

helm

内存

8 replies • 2021-01-25 08:48:03 +08:00

v2webdev

Jan 20, 2021

阿里开源太吊了。

Jan 20, 2021

先问一下有没有用个代码里写死的特殊 token，就能全权访问所有数据？

imkerberos

Jan 20, 2021

又来污染环境。

6ufq0VLZn0DDkL80

Jan 20, 2021

不敢用阿里的开源

IDAEngine

Jan 20, 2021

请问代码里面有没有加密的黑名单白名单，像 fastjson 一样，

denyHashCodes = new long[]{
-8720046426850100497L,
-8165637398350707645L,
-8109300701639721088L,
-8083514888460375884L,
-7966123100503199569L,
-7921218830998286408L,
-7768608037458185275L,
-7766605818834748097L,
-6835437086156813536L,
-6179589609550493385L,
-5194641081268104286L,
-4837536971810737970L,
-4401390804044377335L,
-4082057040235125754L,
-3935185854875733362L,
-2753427844400776271L,
-2364987994247679115L,
-2262244760619952081L,
-1872417015366588117L,
-1650485814983027158L,
-1589194880214235129L,
-1251419154176620831L,
-254670111376247151L,
-190281065685395680L,
-9822483067882491L,
33238344207745342L,
99147092142056280L,
313864100207897507L,
1073634739308289776L,
1203232727967308606L,
1459860845934817624L,
1502845958873959152L,
3114862868117605599L,
3547627781654598988L,
3688179072722109200L,
3730752432285826863L,
3794316665763266033L,
4147696707147271408L,
4814658433570175913L,
4904007817188630457L,
5100336081510080343L,
5347909877633654828L,
5450448828334921485L,
5688200883751798389L,
5751393439502795295L,
5944107969236155580L,
6456855723474196908L,
6511035576063254270L,
6742705432718011780L,
7017492163108594270L,
7179336928365889465L,
7442624256860549330L,
8389032537095247355L,
8409640769019589119L,
8537233257283452655L,
8838294710098435315L,
8925522461579647174L
0x86fc2bf9beaf7aefL,
0x8eadd40cb2a94443L,
0x8f75f9fa0df03f80L,
0x8fd1960988bce8b4L,
0x9172a53f157930afL,
0x92122d710e364fb8L,
0x94305c26580f73c5L,
0x9437792831df7d3fL,
0xa123a62f93178b20L,
0xaa3daffdb10c4937L,
0xb7e8ed757f5d13a2L,
0xbcdd9dc12766f0ceL,
0xc2eb1e621f439309L,
0xc7599ebfe3e72406L,
0xc963695082fd728eL,
0xd9c9dbf6bbd27bb1L,
0xdf2ddff310cdb375L,
0xe09ae4604842582fL,
0xe603d6a51fad692bL,
0xe9184be55b1d962aL,
0xe9f20bad25f60807L,
0xeea210e8da2ec6e1L,
0xfc773ae20c827691L,
0xfd5bfc610056d720L,
0xffdd1a80f1ed3405L,
0x761619136cc13eL,
0x1603dc147a3e358L,
0x45b11bc78a3aba3L,
0xee6511b66fd5ef0L,
0x10b2bdca849d9b3eL,
0x144277b467723158L,
0x14db2e6fead04af0L,
0x2b3a37467a344cdfL,
0x313bb4abd8d4554cL,
0x332f0b5369a18310L,
0x33c64b921f523f2fL,
0x34a81ee78429fdf1L,
0x398f942e01920cf0L,
0x42d11a560fc9fba9L,
0x440e89208f445fb9L,
0x46c808a4b5841f57L,
0x4a3797b30328202cL,
0x4ba3e254e758d70dL,
0x4ef08c90ff16c675L,
0x4fd10ddc6d13821fL,
0x527db6b46ce3bcbcL,
0x599b5c1213a099acL,
0x5a5bd85c072e5efeL,
0x5d92e6ddde40ed84L,
0x616323f12c2ce25eL,
0x63a220e60a17c7b9L,
0x6749835432e0f0d2L,
0x746bd4a53ec195fbL,
0x74b50bb9260e31ffL,
0x767a586a5107feefL,
0x7aa7ee3627a19cf3L,
0x7bddd363ad3998c6L
};

sighingnow

Jan 20, 2021

@GM 没有。Vineyard 中 data access permission 取决于 UNIX domain socket 的 permission bits，和 token 无关。

sighingnow

Jan 20, 2021

@IDAEngine 没有。

dbpe

Jan 25, 2021

和 Ignite 的优势是什么