㈠ 何时使用hadoop fs，hadoop dfs与hdfs dfs命令
hadoop fs：使用面广操作任何文件系统hadoop dfs与hdfs dfs：能操作HDFS文件系统相关（包括与Local FS间操作）前者已经Deprecated般使用者Following are the three commands which appears same but have minute differenceshadoop fs {args}hadoop dfs {args}hdfs dfs {args}hadoop fs <args></args>FS relates to a generic file system which can point to any file systems like local, HDFS etc. So this can be used when you are dealing with different file systems such as Local FS, HFTP FS, S3 FS, and others hadoop dfs <args></args>dfs is very specific to HDFS. would work for operation relates to HDFS. This has been deprecated and we should use hdfs dfs instead. hdfs dfs <args></args>same as 2nd i.e would work for all the operations related to HDFS and is the recommended command instead of hadoop dfsbelow is the list categorized as HDFS commands.**#hdfs commands** namenode|secondarynamenode|datanode|dfs|dfsadmin|fsck|balancer|fetchdt|oiv|dfsgroupsSo even if you use Hadoop dfs , it will look locate hdfs and delegate that command to hdfs dfs
㈡ 怎么查看hdfs 某个文件夹的文件块
这种情况比较复杂!如果文件小于64MB，存储按该文件的块大小等于该文件的大小。读取时是根据存在namenode上面的映射表来读取的。按实际存储的大小来读取，不是从硬盘上面读取的，是从HDFS上面读取的。另外，在文件上传时，就会根据块的大小将各个块分布到各个datanode节点上面的。如果文件已经上传，需要修改默认块的大小，那么需要执行一条语句将HDFS上面的原有文件重新分块并存储。
㈢ linux中如何查看hadoop文件中的数据
namenode就是master。 必须要有一台启动namenode服务。 ============= 如果只需要 datanode，那么jps 命令后，查看到线程ID 然后kill 掉就好了。 注意 kill掉 namenode后，整个hadoop集群就宕掉了。
㈣ hadoop常用shell命令怎么用
一、常用的hadoop命令1、hadoop的fs命令#查看hadoop所有的fs命令1 hadoop fs#上传文件（put与FromLocal都是上传命令）12 hadoop fs -put jdk-7u55-linux-i586.tar.gz hdfs://hucc01:9000/jdkhadoop fs -FromLocal jdk-7u55-linux-i586.tar.gz hdfs://hucc01:9000/jdk#下载命令(get与ToLocal都是下载命令)12 hadoop fs -get hdfs://hucc01:9000/jdk jdk1.7hadoop fs -ToLocal hdfs://hucc01:9000/jdk jdk1.7#将本地一个或者多个文件追加到hdfs文件中（appendToFile）1 hadoop fs -appendToFile install.log /words#查询hdfs的所有文件（ls）1 hadoop fs -ls /#帮助命令（help）1 hadoop fs -help fs#查看hdfs文件的内容（cat和text）12 hadoop fs -cat /wordshadoop fs -text /words#删除hdfs文件(rm)1 hadoop fs -rm -r /words#统计hdfs文件和文件夹的数量（count）1 hadoop fs -count -r /#合并hdfs某个文件夹的文件，并且下载到本地（getmerge）1 hadoop fs -getmerge / merge#将本地文件剪切到hdfs，相当于对本地文件上传后再删除（moveFormLocal）1 hadoop fs -moveFromLocal words /#查看当前文件系统的使用状态（df）1 hadoop fs -df二、常用的hdfs命令（这个用的比较多）用法跟hadoop命令一样，推荐2.0之后使用hdfs命令1 hdfs dfs
㈤ 如何查看hadoop hdfs文件系统
使用插件——Hadoop-Eclipse-Plugin此方法需要借助Eclipse，插件的安装及使用请参考博文。借助Eclipse只能进行简单的HDFS操作，如查看，删除，上传，下载。以下是操作界面：
㈥ 怎么查看hadoop的输出文件，比如运行wordcount的时候产生的output结果，我要将文件拷贝出来怎么办
看文件可以在hadoop的web接口上进行，也可以使用命令行。web接口：需要配置本机的hosts文件，加入集群中机器回的主机名和ip信息。答访问http://masterhost:50070然后通过页面的点击查看输出的结果。命令行：$HADOOP_HOME/bin/hadoop fs -ls output 查看输出目录中的文件$HADOOP_HOME/bin/hadoop fs -cat output/fileName 查看文件的内容如果想将文件拷贝出来：1、通过web接口页面上的download this file的链接下载。2、使用命令,好像是$HADOOP_HOME/bin/hadoop fs -get src localdest或者$HADOOP_HOME/bin/hadoop fs -ToLocal src localdest你可以输入$HADOOP_HOME/bin/hadoop fs 看一下提示
㈦ hadoop hdfs 源码怎么看
在使用Hadoop的过程中，很容易通过FileSystem类的API来读取HDFS中的文件内容，读取内容的过程是怎样的呢？今天来分析客户端读取HDFS文件的过程，下面的一个小程序完成的功能是读取HDFS中某个目录下的文件内容，然后输出到控制台，代码如下：[java] view plain public class LoadDataFromHDFS { public static void main(String[] args) throws IOException { new LoadDataFromHDFS().loadFromHdfs("hdfs://localhost:9000/user/wordcount/"); } public void loadFromHdfs(String hdfsPath) throws IOException { Configuration conf = new Configuration(); Path hdfs = new Path(hdfsPath); FileSystem in = FileSystem.get(conf); //in = FileSystem.get(URI.create(hdfsPath), conf);//这两行都会创建一个DistributedFileSystem对象 FileStatus[] status = in.listStatus(hdfs); for(int i = 0; i < status.length; i++) { byte[] buff = new byte[1024]; FSDataInputStream inputStream = in.open(status[i].getPath()); while(inputStream.read(buff) > 0) { System.out.print(new String(buff)); } inputStream.close(); } } } FileSystem in = FileSystem.get(conf)这行代码创建一个DistributedFileSystem，如果直接传入一个Configuration类型的参数，那么默认会读取属性fs.default.name的值，根据这个属性的值创建对应的FileSystem子类对象，如果没有配置fs.default.name属性的值，那么默认创建一个org.apache.hadoop.fs.LocalFileSystem类型的对象。但是这里是要读取HDFS中的文件，所以在core-site.xml文件中配置fs.default.name属性的值为hdfs://localhost:9000，这样FileSystem.get(conf)返回的才是一个DistributedFileSystem类的对象。 还有一种创建DistributedFileSystem这种指定文件系统类型对像的方法是使用FileSystem.get(Configuration conf)的一个重载方法FileSystem.get(URI uri, Configuration)，其实调用第一个方法时在FileSystem类中先读取conf中的属性fs.default.name的值，再调用的FileSystem.get(URI uri, Configuration)方法。
㈧ 用c++读取hdfs中的文件，使用libhdfs应该怎么配置
建立、关闭与HDFS连接：hdfsConnect()、hdfsConnectAsUser()、hdfsDisconnect()。hdfsConnect()实际上是直接调用hdfsConnectAsUser。
打开、关闭HDFS文件：hdfsOpenFile()、hdfsCloseFile()。当用hdfsOpenFile()创建文件时，可以指定replication和blocksize参数。写打开一个文件时，隐含O_TRUNC标志，文件会被截断，写入是从文件头开始的。
读HDFS文件：hdfsRead()、hdfsPread()。两个函数都有可能返回少于用户要求的字节数，此时可以再次调用这两个函数读入剩下的部分（类似APUE中的readn实现）；只有在两个函数返回零时，我们才能断定到了文件末尾。
写HDFS文件：hdfsWrite()。HDFS不支持随机写，只能是从文件头顺序写入。
查询HDFS文件信息：hdfsGetPathInfo()
查询和设置HDFS文件读写偏移量：hdfsSeek()、hdfsTell()
查询数据块所在节点信息：hdfsGetHosts()。返回一个或多个数据块所在数据节点的信息，一个数据块可能存在多个数据节点上。
libhdfs中的函数是通过jni调用JAVA虚拟机，在虚拟机中构造对应的HDFS的JAVA类，然后反射调用该类的功能函数。总会发生JVM和程序之间内存拷贝的动作，性能方面值得注意。
HDFS不支持多个客户端同时写入的操作，无文件或是记录锁的概念。
建议只有超大文件才应该考虑放在HDFS上，而且最好对文件的访问是写一次，读多次。小文件不应该考虑放在HDFS上，得不偿失！
未经允许不得转载：山九号 » 查看hdfs文件内容|怎么查看hadoop的输出文件比如运行wordcount的时候产生的output结果我要将文件拷贝出来怎么办
