gpfs文件系统|当前主流分布式文件系统有哪些

gpfs文件系统|当前主流分布式文件系统有哪些的第1张示图

Ⅰ SAN文件系统的系统种类

目前存在的比较知名的SAN文件系统BWFS——中科院计算所研发并推广的国内唯一的自主研发的SAN文件系统,目前国内已有很多地方在使用。GPFS——IT全能老大IBM自行研发,一般随其产品共同销售。Panasas——存储界重量级厂商作品,2004年进入中国,影响力不错。主体是刀片式存储设备,核心软件为PanFSStorNext——又一存储界大户ADIC作品,价格比较昂贵。苹果曾经OEM该产品,名为XSAN,专门应用于广电行业。Lustre——目前已归开源王SUN所有,因为开源,所以很多人感兴趣,但是一般用户没有相当技术实力去驾驭,而且SUN服务费用奇高。CXFS——高性能巨头SGI作品,SGI在中国曾一度濒临倒闭,目前死而复生。SGI产品质量很好,相当的是其产品价格也十分夸张,CXFS一般都是随产品一起出售的。

Ⅱ gpfs文件系统,有什么要注意的地方

你刚刚安装系统没有写入东西的话,你可以使用易我恢复使用格式化恢复,有可能可以找回的。 因为安装系统就是格式化分区。

Ⅲ 除了gpfs,ibm的aix系统兼容得比较好的共享文件系统是哪个

1.找培训机构,参加正规培训,花费>5000,老农的相对便宜些,实用且实惠;2.自己淘二手的设备,一台p275也不过千元,练习AIX5.3常用命令,基本够用;3.经常逛LU,CU,AC等unix论坛,求人提供远程学习机,我虽有但不公用;4.头削尖了进维保单位,实验环境下各类小机随便你用,抱回家都可以;进入AIX这行的路子很多,你自己选吧……

Ⅳ 关于GPFS文件系统

IBM GPFS可以替代HDFS作为Hadoop架构的底层文件系统/数据存储。Hadoop主要是能够做DAS直连存储,(位于各个节点上的)硬盘是分布式的,数据会拷贝 3-4份进行保护。Hadoop不需要高端的产品,不用共享存储,而是用分布式存储,它的成本相比共享存储(比如DS8000)要低。

GPFS的可扩展性上还是最好的,要把二者的优点结合起来,在基础上还是用直连的方式。GPFS与Hadoop的结合是一种分布式文件系统的形式,专门针对大数据分析的应用。作为集群NAS产品的IBM SONAS则具备更多的适应性,主要面向高性能计算、海量媒体(音/视频)数据的存储。

GPFS-SNC是IBM为Hadoop分析计算环境扩展研发的产品。A key difference between GPFS-SNC and HDFS is that GPFS-SNC is a kernel-level (内核级)file system, whereas HDFS runs on top of the operating system. This means that GPFS-SNC offers several advantages over HDFS, including:Better performance,Storage flexibility,Concurrent read/write,Improved security。

GFPS-SNC 提供了 HDFS所不具备的许多优点,其中一个优点解决了上述 NameNode 问题。在 GPFSSNC内实施的 Hadoop 运行时,不一定要与这个特别的 SPOF 问题进行竞争。GPFS-SNC 使您能够建立一个更加可靠的 Hadoop 集群(其中还包括其他好处,如易于管理和性能)。

除了所提出的有关单一 NameNode 的问题之外,一些客户还指出,HDFS不是 Portable Operating System Interface for UNIX (POSIX) 兼容的文件系统。这意味着,几乎所有您在与文件进行交互时可能使用的熟悉命令(复制文件、删除文件、写入文件、移动文件等)都以不同形式在 HDFS 中可用(有语法差异,在某些情况下有功能限制)。为了解决这个问题,您必须编写自己的 Java 应用程序执行某些功能,或培训您的 IT 员工,学习不同HDFS 命令来管理和操作文件系统的文件。

Ⅳ 当前主流分布式文件系统有哪些

目前几个主流的分布式文件系统除GPFS外,还有PVFS、Lustre、PanFS、GoogleFS等。 1.PVFS(Parallel Virtual File System)项目是Clemson大学为了运行Linux集群而创建的一个开源项目,目前PVFS还存在以下不足: 1)单一管理节点:只有一个管理节点来管理元数据,当集群系统达到一定的规模之后,管理节点将可能出现过度繁忙的情况,这时管理节点将成为系统瓶颈; 2)对数据的存储缺乏容错机制:当某一I/O节点无法工作时,数据将出现不可用的情况; 3)静态配置:对PVFS的配置只能在启动前进行,一旦系统运行则不可再更改原先的配置。 2.Lustre文件系统是一个基于对象存储的分布式文件系统,此项目于1999年在Carnegie Mellon University启动,Lustre也是一个开源项目。它只有两个元数据管理节点,同PVFS类似,当系统达到一定的规模之后,管理节点会成为Lustre系统中的瓶颈。 3.PanFS(Panasas File System)是Panasas公司用于管理自己的集群存储系统的分布式文件系统。 4.GoogleFS(Google File System)是Google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。 5.相对其它的文件系统,GPFS的主要优点有以下三点: 1)使用分布式锁管理和大数据块策略支持更大规模的集群系统,文件系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁,第一个获得锁的客户将负责维护相应共享对象的一致性管理,这减少了元数据服务器的负担; 2)拥有多个元数据服务器,元数据也是分布式,使得元数据的管理不再是系统瓶颈; 3)令牌管理以字节作为锁的最小单位,也就是说除非两个请求访问的是同一文件的同一字节数据,对于数据的访问请求永远不会冲突.

Ⅵ 请教cfs,nfs,gpfs稳定性,性能方面的比较

NFS和CIFS说白了就是网络文件共享。GPFS算是集群文件系统,明显比NFS和CIFS在集群中要好用。NFS是网络文件系统,不常用,GPFS可能用的多一些。

Ⅶ 当前主流分布式文件系统有哪些各有什么优缺点

目前几个主流的分布式文件系统除GPFS外,还有PVFS、Lustre、PanFS、GoogleFS等。1.PVFS(ParallelVirtualFileSystem)项目是Clemson大学为了运行Linux集群而创建的一个开源项目,目前PVFS还存在以下不足:1)单一管理节点:只有一个管理节点来管理元数据,当集群系统达到一定的规模之后,管理节点将可能出现过度繁忙的情况,这时管理节点将成为系统瓶颈;2)对数据的存储缺乏容错机制:当某一I/O节点无法工作时,数据将出现不可用的情况;3)静态配置:对PVFS的配置只能在启动前进行,一旦系统运行则不可再更改原先的配置。2.Lustre文件系统是一个基于对象存储的分布式文件系统,此项目于1999年在CarnegieMellonUniversity启动,Lustre也是一个开源项目。它只有两个元数据管理节点,同PVFS类似,当系统达到一定的规模之后,管理节点会成为Lustre系统中的瓶颈。3.PanFS(PanasasFileSystem)是Panasas公司用于管理自己的集群存储系统的分布式文件系统。4.GoogleFS(GoogleFileSystem)是Google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。

Ⅷ 当前主流分布式文件系统有哪些各有什么优缺点

目前几个主流的分布式文件系统除GPFS外,还有PVFS、、PanFS、GoogleFS等。 1.PVFS(Parallel Virtual File System)项目是Clemson大学为了运行Linux集群而创建的一个开源项目,目前PVFS还存在以下不足: 1)单一管理节点:只有一个管理节点来管理元数据,当集群系统达到一定的规模之后,管理节点将可能出现过度繁忙的情况,这时管理节点将成为系统瓶颈; 2)对数据的存储缺乏容错机制:当某一I/O节点无法工作时,数据将出现不可用的情况; 3)静态配置:对PVFS的配置只能在启动前进行,一旦系统运行则不可再更改原先的配置。 2.Lustre文件系统是一个基于对象存储的分布式文件系统,此项目于1999年在Carnegie Mellon University启动,Lustre也是一个开源项目。它只有两个元数据管理节点,同PVFS类似,当系统达到一定的规模之后,管理节点会成为Lustre系统中的瓶颈。 3.PanFS(Panasas File System)是Panasas公司用于管理自己的集群存储系统的分布式文件系统。 4.GoogleFS(Google File System)是Google公司为了满足公司内部的数据处理需要而设计的一套分布式文件系统。 5.相对其它的文件系统,GPFS的主要优点有以下三点: 1)使用分布式锁管理和大数据块策略支持更大规模的集群系统,文件系统的令牌管理器为块、inode、属性和目录项建立细粒度的锁,第一个获得锁的客户将负责维护相应共享对象的一致性管理,这减少了元数据服务器的负担; 2)拥有多个元数据服务器,元数据也是分布式,使得元数据的管理不再是系统瓶颈; 3)令牌管理以字节作为锁的最小单位,也就是说除非两个请求访问的是同一文件的同一字节数据,对于数据的访问请求永远不会冲突.

未经允许不得转载:山九号 » gpfs文件系统|当前主流分布式文件系统有哪些

赞 (0)