KV SSD调研
Block SSD
传统的SSD硬盘以块设备的形式存在。当在传统SSD之上实现KV存储系统时,如果写入或者读取键值对,需要先完成从KV到文件的转换,再实现文件到logic block的转换,然后将logic block映射到physical block,这种层层转换无疑是性能很低的。
并且为了适应块设备,当前很多KV系统...
传统的SSD硬盘以块设备的形式存在。当在传统SSD之上实现KV存储系统时,如果写入或者读取键值对,需要先完成从KV到文件的转换,再实现文件到logic block的转换,然后将logic block映射到physical block,这种层层转换无疑是性能很低的。
并且为了适应块设备,当前很多KV系统...
KV存储支持了很多关键应用和服务。他们在内存中执行快速处理,但是仍然经常受到IO性能的限制。最新出现的高速商用NVMe SSD推动了新的KV系统设计,以利用其超低延迟和高带宽的优势。同时,将整个数据库扩展到该高端SSD需要很多资金。并且我们的研究表明,当前基于LSM的KV存储并未完全发挥NVMe的潜力,例如在50%写负载的情况下,在Optane PX4800X上部署的RocksDB与S...
NVMe: 即Non-Volatile Memory Express,是专为固态存储器设计的新型传输协议。SATA (Serial Advanced Technology Attachment) 并非专为固态硬盘等闪存存储器设计,相比之下,NVMe使硬盘的性能得到极大的提升。
Read More
在现在KV存储系统中,有些设计成全球范围内分布式的,有些设计成单机的。然而在近些年都逐渐收敛到云上。基于这个背景设计了一个可以在任何scale上都运行的很好的KV系统。针对该KV系统有四个设计需求: partition。为了实现data scaling当然需要partition。但是Ann...
在以往的Pegasus版本中,我们没有实现安全认证,这就意味着任何人只要知道Pegasus集群的地址,就可以访问Pegasus中的数据并对其进行修改,显然这会带来很大的安全隐患。所以我们在2.2.0版本中发布了Pegasus安全认证功能。 安全认证分为两个部分:身份认证和权限控制。身份认证用于识别用户的身份,对于非认证用户拒绝访问。而权限控制则基于身份认证获取到的用户身...
当前,越来越多的企业和组织将数据托管在云上。同时其对DB系统提供了更高的要求。这些要求包括高安全性、高可用性、支持超大规模数据、即买即用(pay-as-you-go)、以及高性能。此外,服务需要是弹性的,可以随着负载的变化自动增长或者收缩,使得用户可以利用pay-as-you-go的模式来节省成本。 事实证明,在云上使用传统的、整体架构的database架构是无法满足这...
Dynamo是Amazon实现的一款KV存储。为了支持Amazon大规模且持续增长的用户,具有高可用、高扩展性的特性。Dynamo有一个重要的设计目标:允许应用自己控制自己的系统特性(例如持久性和一致性)让应用自己决定如何在功能、性能和成本效率之间取得折中。 设计目标: Cassandra的目标是构建在上百台的节点之上(可能会跨越多个不同的data center)。Cassandra用于设计满足Facebook的Inbox Search的存储需求,这要求该存储系统需要能够处理非常高的写吞吐,每天数十亿的写入,以及随着用户规模增长而扩容。并且由于用户根据地理位置可能被不同的data center服务,所以在不同的data center之间复制数据是很关键...
Anna
设计目标
Pegasus安全认证
Microsoft Socrates
Amazon Dynamo
Background
<...
Facebook Cassandra