NEL发布NEO Key-Value数据库LightDB
不明白不知道
post on 2022-12-5 17:52:44
30
0
0
也就是把Neo的一个节点一个进程的模式,改造为一个节点一个集群。
完成这个目标的基础,就是这个网络数据库需要一个类似的很低成本的读snapshot支持。
所以我选择了rocksdb作为这个基础,rocksdb是facebook 基于leveldb魔改的一个改进版本。
那么为什么要追加数据类型和表的概念?
因为leveldb使用中存储的东西都是byte[],而很多时候我们使用neo中得到的byte[] 都不知道是什么东西,要靠相应的约定。
我觉得这个很不方便,所以我们存储的单位不是byte[] 而是一个结构体 DBValue,他可以描述自己是什么数据类型,整数,string,byte[],bigint,小数,等等。
这个结构体里面还预留了给每一个值附加信息的功能,也记录了这个值最终修改的时间戳(存储高度)
至于表就更好理解了,这是使用leveldb的一个自然需求,keyvalue数据库是一个字典,可是我们存进去的东西,从逻辑上是分为几个字典的,交易字典,utxo字典,等等等。
我们只是把这个分字典的自然需求,在数据库层面直接提供了。
然后是网络层,选择了websocket作为通讯方法,完全是基于将来是网页的天下的考虑。因为存储这个功能被独立出来,甚至可以写一条链,他完全是在网页中运行的。
当然目前还没有想那么多,但可以预见到越来越多的业务会在网络中运行,因为这个数据库的出现,nel目前的至少50%的查询需求可以不通过后台服务器,js直接完成。
比如nep5资产的blanceof,比如交易UTXO数据的确认。
其三,数据库的存储模仿了区块链的结构,以taskblock为单位,首尾相接。毕竟一开始这个项目的名字就叫lightchain.
后来一想,这个名字有点烂大街了,数据库还是老老实实的叫DB吧
为什么要以taskblock为单位呢,因为便于同步。数据库读写分离是性能扩展的必然走向,而把每一个操作记录下来,从数据库只要从主数据库取得每一个block,自己执行一遍,就同步完了。
对了还有一点也很像NEO区块链,我们的写入权限控制不是用密码,而是用私钥,而且还是和NEO完全兼容的私钥
最后,还有一个很重要的功能,checkpoint,这也是rocksdb提供的礼物,可以快速的在本地产生一个新的数据库副本。这样我们做链上数据快照的手段就更多了,传统手段是用爬虫爬取要快照的数据,爬到指定高度,停。现在又多了一个手段,约定时间快照,到时间了,啪,一个checkpoint,整个数据库都备份下来了。
不过当数据量达到G的级别,这个checkpoint性能是怎样的,还是需要测试确认的
项目使用方法
一、开服务器
获取lightdb.server,生成
启动之前看一下config
Server_port 服务端口
Server_storage_path 数据库存储路径
Server_type 读写分离用,从机模式还没开发呢,只能Master
Storage_maindb_magic 提供一个魔法字串,好让这个库特立独行
会写入库中,数据库创建之后,改这个值就没意义了
Storage_maindb_firstwriter_address 提供一个NEO地址,他将成为第一个有写入权限的人,实际上还没开发追加写入人的功能,他就是唯一一个。
会写入库中,数据库创建之后,改这个值就没意义了
然后启动server,支持linux windows,在win10,unbutu,centos测试过,linux下需安装依赖库,参考facebook rocksdb项目的说明
https://github.com/facebook/rocksdb/blob/master/INSTALL.md
中的Supported platforms一节
如果路径里没有创建过数据库会新建,否则会打开
控制台目前只有db.state 和 db.block 两个功能
Db.block 会把block解析开,我们可以看到每个block都干了些啥,value都是DBvalue,用DBValue结构体去查看就能看到类型
二、客户端使用
首先引用lightdb.sdk,可以下源码,可以nuget
New一个client对象
注册,断线事件,然后Connect
如果连接成功,就OK
不需要登陆啥的,读随便,写的时候,需要你先签好名
Ping 与dbstate
所有的读操作都是通过snap来进行的
所以先要获取一个snapshot
然后就可以getblock
Getblockhash
Getvalue
client.Post_snapshot_getvalue(snapshotid, tableid, key);
要写数据就比较复杂了
首先创建个writetask对象,所有的写入,都通过writetask对象完成,
然后创建signdata对象,进行签名
然后将这两个东西post给服务器。有对应的私钥才能完成签名,成功写入数据。
BitMere.com is Information release platform,just provides information storage space services.
The opinions expressed are solely those of the author,Does not constitute advice, please treat with caution.
The opinions expressed are solely those of the author,Does not constitute advice, please treat with caution.
Write the first review