大文件存储系统|大文件的云存储-山九号

⑴ 分布式存储排名前十名有哪些

一、 CephCeph最早起源于Sage就读博士期间的工作、成果于2004年发表，并随后贡献给开源社区。经过多年的发展之后，已得到众多云计算和存储厂商的支持，成为应用最广泛的开源分布式存储平台。二、 GFSGFS是google的分布式文件存储系统，是专为存储海量搜索数据而设计的，2003年提出，是闭源的分布式文件系统。适用于大量的顺序读取和顺序追加，如大文件的读写。注重大文件的持续稳定带宽，而不是单次读写的延迟。三、 HDFSHDFS(Hadoop Distributed File System)，是一个适合运行在通用硬件(commodity hardware)上的分布式文件系统，是Hadoop的核心子项目，是基于流数据模式访问和处理超大文件的需求而开发的。该系统仿效了谷歌文件系统(GFS)，是GFS的一个简化和开源版本。

⑵ 企业文件存储系统

我总结一下市面上常见的文档管理功能有：1、历史版本管理：每次修改都会自动添内加一个历史版容本，所以看到的永远是最新版本，也可以回滚至某个历史版本。2、签入签出管理：要编辑一个文档必须先签出，同一时间只能被一个用户签出，避免了多人同时修改产生混乱的问题。3、权限控制：可以基于每个文档或者某一类文档进行权限控制。4、文档模板管理：可以自定义模板并保存在系统中。下次新建的时候可以选择合适的模板。我们对比了天翎、致远、泛微这三个产品，各有各的优势，又有一些不得不存在的小缺陷，天翎基本符合要求，有本地部署和云部署，但是有点贵；致远只能云部署，泛微页面精美，但是操作不够流畅，三家厂商都可以免费体验，这些都是我个人的使用感，试用过后才能知道哪个适合。

⑶ FAT32系统中，文件最大不能超过4G

FAT32是Windows系统硬盘分区格式的一种。这种格式采用32位的文件分配表，使其对磁盘的管理能力大大增强，突破了FAT16对每一个分区的容量只有2GB的限制。由于现在的硬盘生产成本下降，其容量越来越大，运用FAT32的分区格式后，我们可以将一个大硬盘定义成一个分区而不必分为几个分区使用，大大方便了对磁盘的管理。但由于FAT32分区内无法存放大于4GB的单个文件，且性能不佳，易产生磁盘碎片。目前已被性能更优异的NTFS分区格式所取代。参数分区标识： 0x0B, 0x0C（MBR）EBD0A0A2-B9E5-4433-87C0-68B6B72699C7（GPT）最大单文件大小： 4 GB (Fat16分区是2 GB )最大文件数量： 268,435,437最长档名限制： 8.3 或者长文件名255个字符最大卷大小： 8 TB （在windows 2000和windows XP环境下格式化程序只能创建最大32GBFAT32文件系统，不过可以用如PQ等分区软件分出大于32GB的FAT32分区，大于32GB的FAT32分区在WIN2000/XP下使用完全正常）记录日期：创建、修改、访问日期范围： 1980年1月1日至2107年12月31日属性：只读，隐藏，系统，卷标，子目录，档案透明加密：不支持透明压缩：不支持访问许可：无限制

⑷ 在大数量级的数据存储上，比较靠谱的分布式文件存储有哪些

⑸ 服务器上的大文件是怎么存储的

如何做一台文件服务器假如你是某公司的系统管理员，现在公司要做一台文件服务器。公司购买了一台某品牌的服务器，在这台服务器内插有三块硬盘。公司有三个部门—销售，财务，技术。每个部门有三个员工，其中一名是其部门经理（另两名是副经理）1.在三块硬盘上共创建三个分区（盘符）,并要求在创建分区的时候，使磁盘实现容错的功能；2.在服务器上创建相应的用户帐号和组；命名规范，如：用户名：sales-1，sales-2……；组名：sale，tech……要求用户帐号只能从网络访问服务器，不能在服务器本地登录3.在文件服务器上创建三个文件夹分别存放各部门的文件，并要求只有本部门的用户能访问其部门的文件夹（完全控制的权限），每个部门的经理和公司总经理可以访问所有文件夹（读取），另创建一个公共文件夹，使得所有用户都能在里面查看和存放公共的文件；4.每个部门的用户可以在服务器上存放最多100M的文件；5.做好文件服务器的备份工作以及灾难恢复的备份工作；发送给我的好友提醒我回答有更新你可以把这个生意经分享给旺旺，MSN或QQ上的好友当这个生意经的回答有更新时，您可以及时收到提醒发送给好友生意经链接：窗体顶端发送描述：窗体底端郁闷啦!看看这个问题，你一定要帮我啊！这个东东太实用了，看完记得收藏哦！旺旺浮出提醒好友生意经的地址已经复制您可以粘帖到MSN或者邮件发给您的好友收藏成功，回答有更新时旺旺会浮出提醒你哦！现在就去查看我的收藏网友回答(1)学会安装和配置文件服务器。(2)学会服务器端共享文件夹的配置和管理。(3)学会客户端访问共享文件夹的方法。(4)学会分布式文件系统的设置方法。(5)实验学时：22实验相关理论与知识计算机网络的基本功能是在计算机间共享信息，文件共享可以说是最基本、最普遍的一种网络服务。虽然越来越多的用户购置专用文件服务器(如NAS)，但是通用操作系统提供的文件服务器功能也非常实用，完全能满足一般的文件共享需求，下面主要介绍WindowsServer2003文件服务器的配置、管理和应用。文件服务器负责共享资源的管理和传送接收，管理存储设备(硬盘、光盘、磁带)中的文件，为网络用户提供文件共享服务，也称文件共享服务器。除了文件管理功能之外，文件服务器还要提供配套的磁盘缓存、访问控制、容错等功能。部署文件服务器，主要要考虑以下3个因素。·存取速度：快速存取服务器上的文件，例如可提供磁盘缓存加速文件读取。·存储容量：要有足够的存储空间以容纳众多网络用户的文件，可使用磁盘阵列。·安全措施：实现网络用户访问控制，确保文件共享安全。文件服务器主要有两类解决方案，一类是专用文件服务器，另一类是使用PC服务器或PC计算机组建的通用文件服务器。专用文件服务器是专门设计成文件服务器的专用计算机，以前主要是运行操作系统、提供网络文件系统的大型机、小型机，现在的专用文件服务器则主要指具有文件服务器的网络存储系统，如NAS和SAN。NAS独立于操作系统平台，可支持多种操作系统和网络文件系统，提供集中化的网络文件服务器和存储环境，比一般的文件服务器的功能更强大，可看作是专用存储服务器，可为那些访问和共享大量文件系统数据的用户提供高效、性能价格比优异的解决方案。SAN全称存储区域网络，是一种用户存储服务的特殊网络，通常由磁盘阵列、光盘库、磁带库和光纤交换机组成。NAS可作为独立的文件服务器，提供文件级的数据访问功能，更适合文件共享。而SAN提供数据块级的数据访问功能，更适合数据库和海量数据。目前一般用户使用PC服务器或PC计算机，通过网络操作系统来提供文件服务，UNIX、Linux、Novell、Windows等操作系统都可提供文件共享服务。Windows网络操作系统，如WindowsNTServer、Windows2000Server和最新的WindowsServer2003由于操作管理简单、功能强大，在中小用户群中的普及率非常高，许多文件服务器都运行Windows网络操作系统。下面将重点以WindowsServer2003为例介绍文件服务器的配置、管理和应用。3实验环境与设备C/S模式的网络环境，包括一台WindowsXP客户机和一台WindowsServer2003服务器。两种可选的物理拓扑（交叉线连接或通过集线器/交换机用直连线连接）。4实验内容与步骤4.0服务器的基本网络配置，包括IP地址为"192.168.105.XX"、网关为"192.168.105.254"等。(注："XX"代表你配置机器的主机编号，"nXX"代表你的服务器主机名，例如你坐在5号机上则"XX"代表"05"，"1XX"代表"105"，配置此机的IP地址为"192.168.105.5"、主机名为"n05"，下同)。4.1安装和配置文件服务器文件服务器提供网络上的中心位置，可供存储文件并通过网络与用户共享文件。当用户需要重要文件时，可以访问文件服务器上的文件，而不必在各自独立的计算机之间传送文件。如果网络用户需要对相同文件和可通过网络访问的应用程序的访问权限，就要将该计算机配置为文件服务器。默认情况下，在安装WindowsServer2003系统时，将自动安装"Microsoft网络的文件和打印共享"网络组件。如果没有该组件，可通过网络连接属性对话框安装。1．准备工作在部署文件服务器之前，应当做好以下准备工作。·划出专门的硬盘分区(卷)用于提供文件共享服务，而且要保证足够的存储空间，必要时使用磁盘阵列。·磁盘分区(卷)使用NTFS文件系统，因为FAT32缺乏安全性，而且不支持文件和文件夹压缩、磁盘配额、文件加密或单个文件权限等重要特性。提示：使用WindowsServer2003自带的工具即可将FAT32转换成NTFS格式。该工具名为Convert.exe，位于Windows安装目录下的System32目录中。在命令行状态运行该工具即可，如ConvertE:/FS:NTFS。·确定是否要启用磁盘配额，以限制用户使用的磁盘存储空间。·确定是否要使用索引服务，以提供更快速、更便捷的搜索服务。2．配置文件服务器只要将WindowsServer2003计算机上的某个文件夹共享出来，就会自动安装文件服务器，也可通过"配置您的服务器向导"工具来安装文件服务器角色。这两种方法的差别是，第二种方法提供的选项，并在程序菜单中提供文件服务器管理台工具。这里介绍采用第二种方法的基本步骤。(1)启动"配置您的服务器向导"工具。默认情况下，登录WindowsServer2003时将自动启动"管理您的服务器"(也可从控制面板中选择【管理工具】→【管理您的服务器】)，单击【添加或删除角色】。另一种方法是直接从控制面板中选择【管理工具】→【管理您的服务器】→【配置您的服务器向导】。单击【下一步】按钮。(2)在【配置选项】界面中选择【自定义配置】，单击【下一步】按钮。(3)在【服务器角色】界面中，如果【文件服务器】的【已配置】状态为"否"，就单击【文件服务器】，然后单击【下一步】。注意：如果【文件服务器】的【已配置】状态为"是"，就单击【文件服务器】，再单击【下一步】按钮打开【角色删除确认】界面，并选择【删除文件服务器角色】复选框，即可删除文件服务器角色，这样该服务器上的文件和文件夹就不再共享，依赖于这些共享资源的网络用户、程序或宿主都将无法与它们连接。(4)出现【文件服务器磁盘配额】对话框中，为服务器上所有NTFS分区设置默认的磁盘配额。勾选【为此服务器的新用户设置默认磁盘空间配额】和【拒绝将磁盘空间给超过配额限制的用户】。单击【下一步】按钮。默认情况下是没有启用磁盘配额。(5)出现【文件服务器索引服务】对话框，确定是否要使用索引服务。单击【下一步】按钮。一般情况下不需索引服务，只有在用户要经常搜索该服务器上的文件内容时才启用它。(6)出现【选择总结】对话框，查看和确认已经选择的选项，单击【下一步】按钮。本例中有"设置默认磁盘配额"、"安装文件服务器管理"和"运行共享文件夹向导来添加一个新的共享文件夹或共享已有文件夹"等选项。(7)自动完成相关配置后，出现共享文件夹向导，根据提示配置共享文件夹以供其他用户共享。只有配置了共享文件夹之后，文件服务器才能建立。(8)单击【下一步】按钮，出现【文件夹路径】对话框，指定要共享的文件夹路径。可通过【浏览】在C盘目录下新建一个【FileShare】作为共享目录，此时【文件夹路径】输入框中将出现【C:FileShare】（如果C盘中已经建立过此文件夹，才可以在此输入框中直接输入）。(9)单击【下一步】按钮，出现【名称、描述和设置】对话框，指定共享名。(10)单击【下一步】按钮，出现【权限】对话框，指定共享权限为【管理员有完全访问权限；其他用户有只读访问权限】，单击【完成】按钮。这里提供了几种预置的权限，也可以自定义权限。(11)【共享成功】对话框中显示共享成功，给出新建共享文件夹的信息。如果要继续设置其他共享文件夹，则选中下面的复选框。单击【关闭】按钮，【完成】。至此文件服务器配置就完成了。接下来可执行各项文件管理任务。3．文件服务器管理工具（以下方法至少掌握一种）WindowsServer2003提供了用于文件服务器配置管理的多种工具。·文件服务器管理控制台：打开"管理您的服务器"工具，在【文件服务器】区域单击【管理此文件服务器】，打开该控制台。要使用"配置您的服务器向导"工具安装文件服务器，可从程序菜单中选择【管理工具】→【文件服务器管理】命令打开该控制台。·"共享文件夹"管理工具：也可通过"计算机管理"工具中的"共享文件夹"管理工具来执行共享文件夹的配置管理，从程序菜单中选择【管理工具】→【计算机管理】，【共享文件夹】节点即可。·Windows资源管理器：可直接将文件夹配置为共享文件夹。·命令行工具：如netshare可显示有关本地计算机上全部共享资源的信息。

⑹ 急求大文件上传存储解决方案啊，内存太大怎样都发不出去…

安装坚果云for Outlook大附件插件，可以自由设定附件拦截大小，超过大小限制的大附件上传时将自动使用坚果云链接替换，做到大附件自动拦截，从而实现大附件的安全发送。

⑺ ext4与xfs比有什么优势和劣势。

数据完全性上：

采用XFS文件系统，当意想不到的宕机发生后，首先，由于文件系统开启了日志功能，所以磁盘上的文件不再会意外宕机而遭到破坏了。

不论目前文件系统上存储的文件与数据有多少，文件系统都可以根据所记录的日志在很短的时间内迅速恢复磁盘文件内容。相比ext4更能保证数据完整。

传输特性上：

XFS文件系统采用优化算法，日志记录对整体文件操作影响非常小。XFS查询与分配存储空间非常快。xfs文件系统能连续提供快速的反应时间。笔者曾经对XFS、JFS、Ext3、ReiserFS文件系统进行过测试，相比ext4，XFS文件文件系统的性能表现相当出众。

可扩展性上：

XFS 是一个全64-bit的文件系统，可以支持上百万T字节的存储空间。对特大文件及小尺寸文件的支持都表现出众，支持特大数量的目录。最大可支持的文件大小为263 = 9 x 1018 = 9 exabytes，最大文件系统尺寸为18 exabytes。

XFS使用高的表结构(B+树)，保证了文件系统可以快速搜索与快速空间分配。相比ext4，XFS能够持续提供高速操作，文件系统的性能不受目录中目录及文件数量的限制。

传输带宽上：

XFS 能以接近裸设备I/O的性能存储数据。在单个文件系统的测试中，其吞吐量最高可达7GB每秒，对单个文件的读写操作，其吞吐量可达4GB每秒。相比ext4，XFS传输速度更快。

(7)大文件存储系统扩展阅读：

在分区表所在的64bytes容量中，总共分为四组记录区，每组记录区记录了该区段的起始与结束的柱面号码。

假设上面的硬盘设备文件名为/dev/hda时，那么这四个分区在Linux系统中的设备文件名如下所示，重点在于文件名后面会再接一个数字，这个数字与该分区所在位置有关。

由于分区表只有64bytes而已，最多只能容纳四个分区，这四个分区被称为主或扩展分区。当系统要写入磁盘时，一定会参考磁盘分区表，才能针对某个分区进行数据的处理。

⑻ 大文件的云存储

用坚果云进行大文件的云存储非常方便，坚果云客户端支持右键一次性上传不超过5G大小的文件，网页端一次性上传不超过500Mb大小的文件。

⑼ 什么是IPFS

IPFS(InterPlanetary File System，星际文件系统），它是一种全新的超媒体文本传输协议，可以把它理解为一种支持分布式存储的网站。IPFS 诞生于2015年、2017年8月，IPFS 的激励层filecoin，公开众筹在很短时间内，就募集了超过2.57亿美金，相当于接近20个亿人民币的投资！所以它引起了全世界投资人的高度关注！与此同时它打破纪录，创造了当年全球ICO的奇迹，当之无愧的成为了一个全球瞩目堪比当年以太坊的明星项目！相对应的就是现在大家所熟悉的以 http 开头的中心化存储网站。这跟我们平时使用的网络云，阿里云这些网站有什么不一样呢？各位不妨思考一下，你存储在U盘，网盘上的这些数据是绝对的安全吗？答案是否定的！它会丢失，甚至会被和谐掉，对吗？比如从前的金山网盘，360网盘，官方通道已经关闭了，文件需要大量的转移，时间精力都浪费了，另外像网络网盘，免费用户使用的空间也是有限的，如果你想增加储存容量就必须得充值，而且安全性也是有待考究的。而 IPFS 的网络存储文件，使用的是去中心化分片加密存储技术，把文件分割成了多个片段，存储在网络的各个节点上，而这些节点就是我们使用的电脑，当你下载文件的时候，或者想要打开文件的时候，IPFS 网络会自动把文件还原，给你使用、供你下载，可以防止某个人或者某个机构控制你的数据，也可以防止被黑客攻击，这样就可以保护我们的存储数据，不会被随意篡改、删除了！此外，使用IPFS 网络进行文件存储、文件下载，在速度方面可是相当的快！IPFS 最大的神奇之处呢，是彻底告别了传统的HTTP协议常见的卡顿和404错误。互联网的发展一共经历的三个阶段：所谓的Web1.0，就是互联网的早期形态。提出年代：20世纪90年代中期特征表现：国内以搜狐、网易、新浪、腾讯为代表的一批门户型网站诞生，人们对新闻信息的获取是其利用网络的主要驱动力，巨大的点击流量诞生了新的商业模式。由网站的运营者生产内容。那时候的网站几乎不记录用户数据。这使得想在网上进行复杂的活动几乎不可能。因为你不知道谁来过，看得啥，做了什么。随着微博，微信的崛起，我们进入了现在所处的Web2.0时代。提出年代：21世纪初期特征表现：BBS、博客、RSS（聚合内容）兴起与繁荣。人的重要性与参与性上升，用户既是互联网内容的浏览者，也是制造者。在这个时代，每个人都是内容的生产者。如果说Web1.0时代给了我们一个绚丽的画廊，我们只是过客。只能被动的观看画廊中布置的作品。那么进入Web2.0时代，我们迎来了一个可以自由创新的共享空间。在这里我们即欣赏他人创作，可共享我们的创意。但这个空间的主人并不是我们。比如有一天你不用微信了，那么你在上面的所有信息也就没有了。换句话说，在Web2.0时代，你的网络身份不属于你自己。而是属于这些科技巨头。我们有没有可能主宰自己的数据呢？有！这就是Web3.0提出年代：2010年左右特征表现：网络模式实现不同终端的兼容，从PC互联网到WAP手机，移动互联让普通人群的参与方式呈现更多的可能。基于物联技术的飞跃，跨平台支付、大数据经济等发力迅猛。Web3.0的提法来自区块链，以太坊的联合创始人Gavin Wood博士。第一个提出了Web3.0的概念在这个网络中一切都是去中心化。没有服务器，没有中心化机构。更没有权威或垄断组织掌控信息流。而要构造这个一个庞大的Web3.0，信息存储和文件传输的去中心化就是核心之一。人类社会自进入互联网时代以来，信息爆发式增长，过去两年，新产生的数据占据了人类文明的90%，传统的硬盘级别磁盘列阵存储方式。也渐渐被在最新的云存储技术所替代。云存储就是把存储资源放到云上，然后供人存取。各种不同类型的存储设备通过应用软件集合起来协同工作，保证数据的安全性并节约了存储空间。使用者可以在任何时间任何地点通过任何可联网的装置，使用云上数据。云存储同时也带来了很多隐患，最大的就是数据存储安全方面的问题。分为以下四类。第一类：最常见的就是服务器被攻击，数据被盗取的风险。第二类：属于操作失误或运作流程的缺陷比如腾讯云因为操作失误，导致创业公司，前言数控技术。存在在上面价值上千万的核心数据全部丢失，导致该公司直接停业。第三类：属于服务器自身故障，导致数据丢失或错误。比如亚马逊云。2019年8月，币安在使用过程中由于出现故障，导致比特币交易价格由正常的接近一万美元变为0.32美元造成巨大损失第四类：如果服务商，因为亏损或者政策等原因停止运营，那用户的数据像何处迁移。数据安全由谁负责，这些都是云存储服务提供商所面临的困境。再说说中心化文件传输方案所面临的问题。主要是文件获取效率低下。有两种情况：1，当我们浏览或者下载一部高清电影。那么这台计算机服务器的响应速度和他网络通信环境就限制了我们浏览和下载文件的速度。第二张我们要获取的这个文件。可能存储在地球的另一端的服务器上，在这种情况下。获取文件的速度也会低下。面对传统互联网安全性能查和效率低下的问题。有没有更好的解决办法呢？有，这就是基于点对点网络的去中心化文件存储及传输协议IPFS。IPFS，全称是星际文件系统（interplanetary file eystem）由毕业于斯坦福大学的创始人Juan Benet（胡安，贝内特）和他的团队创办。IPFS协议，主要从数据存储和文件传输。两个方面做了架构性的革新。比如大卫要在IFPS系统中保存一段视频，系统会把文件打碎成若干个大小一样的碎片。然后对每个碎片进行哈希运算得到一个数值，称为哈希值，然后再将所有这些碎片的哈希值及相关数据一起整理并在此进行哈希运算。得到一个最终的哈希值。然后被传输到IPFS系统中。很有可能你的文件中一部分碎片就存储在你邻居家的硬盘中。可是他既不知道这些碎片的内容是什么，也不知道替谁存储了文件，只要没有该文件对应的哈希值任何个人和机构就无法查看你的文件内容，这样我们就不用担心自己我数据被人利用。文件的碎片会被备份多次保留在IPFS系统中的多个节点上。这样即使黑客能攻击其中的个别节点。或者发生区域性的自然灾害，甚至类似911的这种。其他节点依然能保持文件的完整性，在文件传输方面。当我们使用IPFS访问或者下载文件时。我们像系统提交的是改文件的哈希值，因此，只要文件存在于整个IPFS系统中。系统就能帮我们通过最近的网络距离找出这个内容。这样的处理方式，至少在两个方面都比传统互联网有优势，在搜索方面。HTTP是根据地质寻找内容，比如在没有电话，电报的年代。张三的朋友李四住在北京东城区灯草胡同730号。如果张三要从杭州去找李四就得根据这个地址千里走单骑，结果好不容易到了地方。发现房子还在可是李四已经搬走了。这就是我们传统互联网搜索内容经常会碰到的问题。而在IPFS中，文件是按照内容进行搜索的。甭管李四在世界的哪个角落，我都可以通过各种通信设备找到他，而不再是通过古老的地址检索，在效率方面。比如张三要下载一份视频资料，一共10GB大小，如果这份资料存储在地球另一端某个服务器上。那得经过若干路由从遥远的服务器中，像蚂蚁搬家那样一点点的下载。就好比一艘货轮拉了满仓货物通过海洋慢慢的给运过来。而在IPFS中，系统会从离我们网络距离若干节点，同时向我们传输这个文件的碎片。由于每个碎片只有256KB大小，所以速度将快的惊人。因此无论从传输距离还是从传输容量上。IPFS都大大优于HTTP协议。尽管IPFS有大大了优点，但同时也有缺陷。比如在隐私的保护方面。由于在IPFS中，文件的检索是根据文件内容的哈希值来进行的，因此这个哈希值如果泄露给第三方。那么第三方就可以毫无门槛的下载这个文件，对此有没有解决办法呢？有！那就是用户把文件上传到IPFS之前，先对他进行加密。将即使第三方下载了这个文件，他也看不到原始内容。因此在Web3.0即将开启的时代，IPFS在数据确权，存储安全文件封发及传输效率方面都比Web2.0大大的迈进了一步，新生的IPFS虽然还不尽完善，但这并不影响他的贡献和价值。1991年，蒂姆博纳斯李发明的HTTP协议搭建了互联网世界的高速公路，从此我们对信息的传递可以在一瞬间抵达世界的各个角落。30年后，胡安贝内特和他的团队创建了IPFS协议将重塑这个新世界的数据航道，让人类信息得以永存！正是因为有这样的一群人，推进着科技文明的进步。才得以让我们对未来的探索，有了更多的可能。然而如此宏大的系统要实现稳健运行，就得需要充足的燃料来维持，IPFS要想在完整的应用生态中发挥作用，还需要激励机制和一套完整的运行系统。为此Filecoin应运而生。

⑽ Hadoop到底是干什么用的

用途：将单机的工作任务进行分拆，变成协同工作的集群。用以解决日益增加的文件存储量和数据量瓶颈。

通俗应用解释：

比如计算一个100M的文本文件中的单词的个数，这个文本文件有若干行，每行有若干个单词，每行的单词与单词之间都是以空格键分开的。对于处理这种100M量级数据的计算任务，把这个100M的文件拷贝到自己的电脑上，然后写个计算程序就能完成计算。

关键技术：

HDFS（Hadoop Distributed File System）：

既可以是Hadoop 集群的一部分，也可以是一个独立的分布式文件系统，是开源免费的大数据处理文件存储系统。

HDFS是Master和Slave的主从结构（是一种概念模型，将设备分为主设备和从设备，主设备负责分配工作并整合结果，或作为指令的来源；从设备负责完成工作，一般只能和主设备通信）。主要由Name-Node、Secondary NameNode、DataNode构成。

Name-Node：分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等

Secondary NameNode：辅助 NameNode，分担其工作，紧急情况可以辅助恢复

DataNode：Slave节点，实际存储数据、执行数据块的读写并汇报存储信息给NameNode

HDFS客户端的存储流程：当客户需要写数据时，先在NameNode 上创建文件结构并确定数据块副本将要写道哪几个 datanode ，然后将多个代写 DataNode 组成一个写数据管道，保证写入过程完整统一写入。

读取数据时则先通过 NameNode 找到存储数据块副本的所有 DataNode ，根据与读取客户端距离排序数据块，然后取最近的。

未经允许不得转载：山九号 » 大文件存储系统|大文件的云存储

大文件存储系统|大文件的云存储