slgyyq.com — 领先的中文存储网络媒体 | 51CTO旗下网站

新闻资讯 > 存储网络 > 正文
什么是分布式存储?IPFS
作者: 佚名 2018-12-04 10:45 【专注IPFS分布式存储】

传统的集中式存储对搭建和管理的要求较高。由于硬件设备的集中存放,机房的空间、散热和承重等都有严格的要求; 存储设备要求性能较好,对主干网络的带宽也有较高的要求。

而在信息爆炸的时代,人们可以获取的数据呈指数倍的增长,单纯在固定某个地点进行硬盘的扩充在容量大小、扩充速度、读写速度和数据备份等方面上的表现都无法达到要求; 而且大数据处理系统的数据多是来自于客户,数据的种类多,存储系统需要存储各种半结构化、非结构化的数据,如文档、图片、视频等,因此大数据的存储宜使用分布式文件系统来管理这些非结构化数据。

分布式数据存储,即存储设备分布在不同的地理位置,数据就近存储,带宽上没有太大压力。可采用多套低端的小容量的存储设备分布部署,设备价格和维护成本较低。小容量设备分布部署,对机房环境要求也较低。分布式数据存储将数据分散在多个存储节点上,各个节点通过网络相连,对这些节点的资源进行统一的管理。这种设计对用户是透明的,系统为用户提供文件系统的访问接口,使之与传统的本地文件系统操作方式类似。这样的设计解决了传统的本地文件系统在文件大小、文件数量等方面的限制。

传统的分布式计算系统中通常计算节点与存储节点是分开的。当执行计算任务时,首先要把数据从数据节点传输至计算节点( 数据向计算迁移) ,这种处理方式会使外存文件数据 I/O 访问成为一个制约系统性能的瓶颈。为了减少大数据并行计算系统中的数据通信开销,应当考虑将计算向数据靠拢和迁移。如MapReduce模型采用了数据/代码互定位的技术方法,该方法让计算节点首先尽量负责计算其本地存储的数据,以发挥数据本地化特点; 仅当节点无法处理本地数据时,再采用就近原则寻找其他可用计算节点,并把数据传送到该可用计算节点。

从各厂商的解决方案来看,面对目前互联网应用PB级的海量存储的存储需求,频繁的数据传输,都是通过应用分布式存储系统,实现在普通PC机上部署节点,通过系统架构设计提供强大的容错能力,针对大型的、分布式的、大量数据访问的应用给用户提供总体性能最高的服务。

分布式存储系统,是将数据分散存储在多台独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据,存储服务器成为系统性能的瓶颈,也是可靠性和安全性的焦点,不能满足大规模存储应用的需要。

分布式网络存储系统采用可扩展的系统结构,利用多台存储服务器分担存储负荷,利用位置服务器定位存储信息,它不但提高了系统的可靠性、可用性和存取效率,还易于扩展。

简单来说:为了简化用户端的使用,提供了一个分布式缓存系统来提供对此分布式存储系统的访问接口以及本地数据缓冲以降低网络压力。


标签:存储网络 

LecVideo

澳门威尼斯人平台网址