『壹』 在+hive+客户端+cli+命令窗口下如何查看+hdfs+文件系统
咨询记录 · 回答于2021-12-27
『贰』 hdfs命令查找文件所在路径
指令hadoop fsck /user/hadoop/filename -files -blocks -locations -racks-files 文件分块信息，-blocks 在带-files参数后才显示block信息-locations 在带-blocks参数后才显示block块所在datanode的具体IP位置，-racks 在带-files参数后显示机架位置注意：此命令只能在namenode里输入，在datanode里输入会报错的
『叁』 怎么查看hdfs linux 路径
可以fdisk -l 看到 但是它本身是自己的文件系统 就是hdfs 你从linux本地是看不到的 想看里面的文件可以使用如下命令 hadoop fs -ls
『肆』 hadoop hdfs的默认目录问题
frostfish425说的是对的！/user/hadoop是安装目录，就是说你hadoop相关的配置和代码都是放在这个位置，这个你自己定就可以了，但是要注意你配置文件和环境变量中的相关配置都要相应的发生改变。而/tmp/hadoop-hadoop/dfs/name是你配置的hdfs目录，也就是数据存放目录，在hdfs-site.xml中配置的，当然你也可以改变这个目录！这个目录挂载的磁盘要足够大，不然数据存放不下，你初始化的时候报的这个Storage directory /tmp/hadoop-hadoop/dfs/name has been successfully formatted其实就是在/tmp/hadoop-hadoop/dfs这个目录下创建了name目录，意思就是告诉你，数据存放目录已经创建成功了！
『伍』 关于hdfs的物理存储路径问题
我没用过Hive，但HDFS的存储机制都是一样的。你所谓的物理位置指的是在操作系统中的磁盘路径？这个路径是在Hadoop配置的时候写在hdfs-site.xml文件的dfs.datanode.data.dir字段里的，在每个datanode的这个文件夹里存着该节点上存储的所有数据块block，以blk_打头。dfs.namenode.data.dir指定的文件夹在namenode中则存在元数据。所以即便你知道这个所谓的物理路径也没什么用，数据都是以block形式存在的，大的数据还由好多个block组成，而且每个block还有副本。
『陆』 如何获取文件在hdfs中的路径
如何获取文件在hdfs中的路径hadoop有提供相应的脚本去验证文件目录是否存在的： -bash-3.2$ hadoop fs -help…-test -[defsz] <path>:Answer various questions about <path>, with result via exit status. -d return 0 if <path> is a directory. -e return 0 if <path> exists. -f return 0 if <path> is a file. -s return 0 if file <path> is greater than zero bytes in size. -z return 0 if file <path> is zero bytes in size. else, return 1.测试的hdfs目录中： -bash-3.2$ hadoop fs -ls /user/hive/warehouse/yhd_gmv_monthFound 3 itemsdrwxr-xr-x – deploy supergroup 0 2014-08-25 11:15 /user/hive/warehouse/yhd_gmv_month/ds=2014-08-24drwxr-xr-x – deploy supergroup 0 2014-08-26 13:02 /user/hive/warehouse/yhd_gmv_month/ds=2014-08-25drwxr-xr-x – deploy supergroup 0 2014-08-27 08:09 /user/hive/warehouse/yhd_gmv_month/ds=2014-08-26检验昨天产生的目录是否产生的shell脚本： yesterday=$(date -d '-1 day' '+%Y-%m-%d')hadoop fs -test -e /user/hive/warehouse/yhd_gmv_month/ds=$yesterdayif [ $? -eq 0 ] ;then echo 'exist'else echo 'Error! Directory is not exist'fi验证存在的输出结果如下： -bash-3.2$ hadoop fs -test -e /user/hive/warehouse/yhd_gmv_month/ds=$yesterdayif [ $? -eq 0 ] ;then echo 'exist'else echo 'Error! Directory is not exist Or Zero bytes in size'fi-bash-3.2$ if [ $? -eq 0 ] ;then> echo 'exist'> else> echo 'Error! Directory is not exist Or Zero bytes in size'> fiexist
『柒』 hadoop2.7配置文件在哪个目录
(1)dfs.replication:指定DataNode存储block的副本数量,不大于DataNode的个数就行(2)dfs.nameservices：cluster1,cluster2，使用federation(HDFS联盟)时，如果使用了2个HDFS集群。这里抽象出两个NameService实际上就是给这2个HDFS集群起了个别名。名字可以随便起，相互不重复即可(3)dfs.ha.namenodes.cluster1:hadoop101,hadoop102，指定NameService是cluster1时的namenode有哪些，这里的值也是逻辑名称，名字随便起，相互不重复即可(4)dfs.namenode.rpc-address.cluster1.hadoop101:hadoop101:8020，指定hadoop101的RPC地址(5)dfs.namenode.http-address.cluster1.hadoop101:hadoop101:50070,指定hadoop101的http地址！
『捌』 hdfs 文件路径怎么获取
hadoop有提供相应的脚本去验证文件目录是否存在的： -bash-3.2$ hadoop fs -help…-test -[defsz] <path>:Answer various questions about <path>, with result via exit status. -d return 0 if <path> is a directory. -e return 0 if <path> exists. -f return 0 if <path> is a file. -s return 0 if file <path> is greater than zero bytes in size. -z return 0 if file <path> is zero bytes in size. else, return 1.测试的hdfs目录中： -bash-3.2$ hadoop fs -ls /user/hive/warehouse/yhd_gmv_monthFound 3 itemsdrwxr-xr-x – deploy supergroup 0 2014-08-25 11:15 /user/hive/warehouse/yhd_gmv_month/ds=2014-08-24drwxr-xr-x – deploy supergroup 0 2014-08-26 13:02 /user/hive/warehouse/yhd_gmv_month/ds=2014-08-25drwxr-xr-x – deploy supergroup 0 2014-08-27 08:09 /user/hive/warehouse/yhd_gmv_month/ds=2014-08-26检验昨天产生的目录是否产生的shell脚本： yesterday=$(date -d '-1 day' '+%Y-%m-%d')hadoop fs -test -e /user/hive/warehouse/yhd_gmv_month/ds=$yesterdayif [ $? -eq 0 ] ;then echo 'exist'else echo 'Error! Directory is not exist'fi验证存在的输出结果如下： -bash-3.2$ hadoop fs -test -e /user/hive/warehouse/yhd_gmv_month/ds=$yesterdayif [ $? -eq 0 ] ;then echo 'exist'else echo 'Error! Directory is not exist Or Zero bytes in size'fi-bash-3.2$ if [ $? -eq 0 ] ;then> echo 'exist'> else> echo 'Error! Directory is not exist Or Zero bytes in size'> fiexist
『玖』 hdfs怎么查看目录路径
用ls命令， 如果返回一行说明是文件，如果多行则表示目录hadoop fs -ls $path | grep $path | wc -l
『拾』 请问在hadoop中，文件是存储在那里的，是在本地系统吗在本地系统是否可以找到或看得见
Hadoop集群存储数据肯定还是要存放到本地的，在本地也能看见Hadoop集群存储的文件，不过版是以快形式出现的，权文件里的内容本地看不出来，具体的本地存储路径为dfs.data.dir配置项配置的参数。
未经允许不得转载：山九号 » hdfs文件路径在哪里|请问在hadoop中文件是存储在那里的是在本地系统吗在本地系统是否可以找到或看得见
