⑴ 何时使用hadoop fs，hadoop dfs与hdfs dfs命令
hadoop fs：使用面广操作任何文件系统hadoop dfs与hdfs dfs：能操作HDFS文件系统相关（包括与Local FS间操作）前者已经Deprecated般使用者Following are the three commands which appears same but have minute differenceshadoop fs {args}hadoop dfs {args}hdfs dfs {args}hadoop fs <args></args>FS relates to a generic file system which can point to any file systems like local, HDFS etc. So this can be used when you are dealing with different file systems such as Local FS, HFTP FS, S3 FS, and others hadoop dfs <args></args>dfs is very specific to HDFS. would work for operation relates to HDFS. This has been deprecated and we should use hdfs dfs instead. hdfs dfs <args></args>same as 2nd i.e would work for all the operations related to HDFS and is the recommended command instead of hadoop dfsbelow is the list categorized as HDFS commands.**#hdfs commands** namenode|secondarynamenode|datanode|dfs|dfsadmin|fsck|balancer|fetchdt|oiv|dfsgroupsSo even if you use Hadoop dfs , it will look locate hdfs and delegate that command to hdfs dfs
⑵ hdfs怎么删除目录下的文件夹
具体步骤 （1）将要删除的datanode加入到dfs.hosts.exclude指定的文件中。（最好使用主机名，IP有时可能不生效） （2）动态刷新配置，不需要重启namenode hadoop dfsadmin -refreshNodes（3）通过hadoop dfsadmin -report或webui，可以看到，该datanode的状态为Decommissioning （4）等待一段时间，该节点为dead状态。 （5）删除dfs.hosts文件中该节点 即下架目标机器后，再次编辑dfs.hosts.exclude，把刚才下架的机器的ip或机器名移走（6） hadoop dfsadmin -refreshNodes注：按照上面的操作后，如果你想要重新启用该节点为datanode，从dfs.hosts.exclude中删除该节点，refreshNodes，然后，到该节点上，重启启动该datanode： /usr/local/hadoop/bin/hadoop-daemon.sh stop datanode/usr/local/hadoop/bin/hadoop-daemon.sh start datanode注:正确的删除datanode的方法应该是按照上面的方法，使用exclude文件，而不应该直接去datanode上去sotp datanode，这样会造出数据丢失，而且stop以后，webui和hadoop dfsadmin -report都仍然显示该datanode节点。除非重新启动namenode。 之所以重新启用exclude的节点时可以stop datanode，因为此时该datanode不包含在cluster中，所以，stop后不会造成数据丢失。
⑶ 如何删除hadoop
命令：hadoop fs -rmr /home/mm/lily2(要求是你把hadoop的bin加到PATH中，并开启hadoop) rm -rf /home/mm/lily2（这是删除linux文件系统的文件夹）
⑷ hadoop上删除文件
命令：hadoop fs -rmr /home/mm/lily2(要求是你把hadoop的bin加到PATH中，并开启hadoop)rm -rf /home/mm/lily2（这是删除linux文件系统的文件夹）
⑸ 怎么删除home文件夹下的hadoop文件夹
命令：hadoop fs -rmr /home/mm/lily2(要求是你把hadoop的bin加到PATH中，并开启hadoop)rm -rf /home/mm/lily2（这是删除linux文件系统的文件夹）
⑹ 熟悉常用的 Linux 操作和 Hadoop 操作
1.切换到当前目录的上一级目录 cd .. 2.切换到当前登录 Linux 系统的用户自己的主文件夹 cd ~ 3.进入/tmp 目录，创建目录 a1/a2/a3/a4。 mkdir a1/a2/a3/a4 -p 4.删除目录 rmdir a rmdir a1/a2/a3/a4 -p 5.cp 命令：复制文件或目录 (1) 将当前用户的主文件夹下的文件.bashrc 复制到目录“/usr”下，并重命名为 bashrc1 sudo cp .bashrc /usr/bashrc1 (2) 在目录“/tmp”下新建目录 test，再把这个目录复制到“/usr”目录下 cd /tmp mkdir test sudo cp /tmp/test /usr -r 6.mv 命令：移动文件与目录，或更名 (1) 将“/usr”目录下的文件 bashrc1 移动到“/usr/test”目录下 sudo mv /usr/bashrc1 /usr/test (2) 将“/usr”目录下的 test 目录重命名为 test2 sudo mv /usr/test /usr/test2 7.rm 命令：移除文件或目录 (1) 将“/usr/test2”目录下的 bashrc1 文件删除 sudo rm /usr/test2/bashrc1 (2) 将“/usr”目录下的 test2 目录删除 sudo rm -rf /usr/test2 8.cat 命令：查看文件内容查看当前用户主文件夹下的.bashrc 文件内容 cat .bashrc 9.tac 命令：反向查看文件内容反向查看当前用户主文件夹下的.bashrc 文件的内容 tac .bashrc 10.more 命令：一页一页翻动查看翻页查看当前用户主文件夹下的.bashrc 文件的内容 more .bashrc 11.head 命令：取出前面几行 (1) 查看当前用户主文件夹下.bashrc 文件内容前 20 行 head -n20 .bashrc (2)查看当前用户主文件夹下.bashrc 文件内容，后面 50 行不显示，只显示前面几行 head -n -50 .bashrc 12.tail 命令：取出后面几行 (1)查看当前用户主文件夹下.bashrc 文件内容最后 20 行 tail -n20 .bashrc (2)查看当前用户主文件夹下.bashrc 文件内容，并且只列出 50 行以后的数据 tail -n -50 .bashrc 13.touch 命令：修改文件时间或创建新文件 (1) 在“/tmp”目录下创建一个空文件 hello，并查看文件时间 touch hello stat hello (2)修改 hello 文件，将文件时间整为 5 天前 touch -d "2019-3-26" hello stat hello 14.chown 命令：修改文件所有者权限将 hello 文件所有者改为 root 帐号，并查看属性 sudo chown root hello ls -l hello 15.find 命令：文件查找找出主文件夹下文件名为.bashrc 的文件 find .bashrc 16.tar 命令：压缩命令 (1) 在根目录“/”下新建文件夹 test，然后在根目录“/”下打包成 test.tar.gz tar -zcvf test.tar.gz test/ (2) 把上面的 test.tar.gz 压缩包，解压缩到“/tmp”目录 tar -zxvf test.tar.gz 17.grep 命令：查找字符串从“～/.bashrc”文件中查找字符串'examples' grep -rn "examples" .bashrc 18.使用 hadoop 用户登录 Linux 系统，启动 Hadoop（Hadoop 的安装目录为“/usr/local/hadoop”），为 hadoop 用户在 HDFS 中创建用户目录“/user/hadoop” ./bin/hadoop fs -mkdir -p /usr/hadoop 19.接着在 HDFS 的目录“/user/hadoop”下，创建 test 文件夹，并查看文件列表 ./bin/hdfs dfs -mkdir test ./bin/hadoop fs -ls 20.将 Linux 系统本地的“～/.bashrc”文件上传到 HDFS 的 test 文件夹中，并查看 test ./bin/hadoop fs -put ~/.bashrc test ./bin/hadoop fs -ls test 21.将 HDFS 文件夹 test 复制到 Linux 系统本地文件系统的“/usr/local/hadoop”目录下 参考： 1
⑺ 如何删除每次运行hadoop命令的时输出目录
启动Hadoop进入HADOOP_HOME目录。执行sh bin/start-all.sh关闭Hadoop进入HADOOP_HOME目录。执行sh bin/stop-all.sh 1、查看指定目录下内容hadoop dfs –ls [文件目录]eg: hadoop dfs –ls /user/wangkai.pt2、打开某个已存在文件hadoop dfs –cat [file_path]eg:hadoop dfs -cat /user/wangkai.pt/data.txt3、将本地文件存储至hadoophadoop fs –put [本地地址] [hadoop目录]hadoop fs –put /home/t/file.txt /user/t (file.txt是文件名)4、将本地文件夹存储至hadoophadoop fs –put [本地目录] [hadoop目录] hadoop fs –put /home/t/dir_name /user/t(dir_name是文件夹名)5、将hadoop上某个文件down至本地已有目录下hadoop fs -get [文件目录] [本地目录]hadoop fs –get /user/t/ok.txt /home/t6、删除hadoop上指定文件hadoop fs –rm [文件地址]hadoop fs –rm /user/t/ok.txt7、删除hadoop上指定文件夹（包含子目录等）hadoop fs –rm [目录地址]hadoop fs –rmr /user/t8、在hadoop指定目录内创建新目录hadoop fs –mkdir /user/t9、在hadoop指定目录下新建一个空文件使用touchz命令：hadoop fs -touchz /user/new.txt10、将hadoop上某个文件重命名使用mv命令：hadoop fs –mv /user/test.txt /user/ok.txt （将test.txt重命名为ok.txt）11、将hadoop指定目录下所有内容保存为一个文件，同时down至本地hadoop dfs –getmerge /user /home/t12、将正在运行的hadoop作业kill掉hadoop job –kill [job-id]
⑻ 列举一种关闭hadoop01的方法
关闭安全模式NameNode在启动时会自动进入安全模式。安全模式是NameNode的一种状态，在这个阶段，文件系统不允许有任何修改。系统显示Namenodeinsafemode，说明系统正处于安全模式，这时只需要等待十几秒即可，也可通过下面的命令退出安全模式：$HADOOP_HOME/sbin/hadoopdfsadmin-safemodeleave直接启动或者关闭所有的进程（不推荐，由于分布式下，namenode和datanode分布在不同机器上，启动的进程不相同）用NameNode节点的~/dfs/name/current/VERSION中的namenode的clusterID替换所有datanode节点机器中~/dfs/data/current/VERSION中的clusterID。重启启动hadoop:start-all.sh.这种方式不影响现有的数据，避免了重新的格式化。执行./stop-all.sh关闭集群,删除存放hdfs数据块的文件夹(hadoop/tmp/)，然后重建该文件夹,删除hadoop下的日志文件logs,执行hadoopnamenode-format格式化hadoop,重启hadoop集群
⑼ 如何删除Hadoop
rm -rf 目录名就可以了
⑽ hadoop上删除文件
如何恢复hadoop中被删除的文件hadoop的hdfs中被删除文件的恢复原理和回收站原理是一样的，就是在删除hdfs文件时，被删除的文件被移动到了hdfs的.trash文件夹中，恢复时只需将该文件夹中文件拿出即可。具体操作如下：1设置.trash文件夹如果需要恢复hdfs中文件，就需要设置.trash，hadoop的.trash默认是关闭的。具体设置如下：fs.trash.interval10080该配置项在core-site.xml中，fs.trash.interval代表删除的文件保留的时间，时间单位为分钟，默认为0代表不保存删除的文件。我们只需要设置该时间即可打开.trash。2设置后删除文件会显示删除的文件被移动到了hdfs://192.168.1.100:9000/user/hadoop/.trash/current中，举例如下：14/10/2016:48:24infofs.trashpolicydefault:namenodetrashconfiguration:deletioninterval=10080minutes,emptierinterval=0minutes.moved:'hdfs://10.207.0.217:9000/test_out/mr-20141017111556'totrashat:hdfs://192.168.1.100:9000/user/hadoop/.trash/current3恢复时只需要将.trash中文件移动到我们设置的目录即可，例如将.trash中test1文件移动到/test目录，bin/hadoopfs-mv/user/hadoop/.trash/current/test1/test4彻底删除hdfs文件彻底删除hdfs文件即将.trash中文件彻底删除，这样才能是否被删除文件所占用的hdfs空间，第2步中的删除方式hdfs不会释放空间，只是将需要删除的文件移动到了垃圾箱。.trash其实只是hdfs中的一个目录，只要删除该文件夹中的文件即可彻底删除该文件，原理相当于删除了回收站中的文件，该文件即被彻底删除。该项一般很少用，一般hdfs空间不够用才会用到。删除.trash中文件举例如下：bin/hadoopfs-rm-r/user/hadoop/.trash/current/test1
未经允许不得转载：山九号 » hadoop删除文件夹命令|hadoop上删除文件
