企业网站建站技术,什么是企业文化它包括哪些内容,长尾词优化外包,wordpress 转 typecho文章目录前言一、实验目的二、实验平台三、实验内容和要求3.1、HDFS 目录操作3.1.1、创建用户目录3.1.2、显示 HDFS 中与当前用户对应的目录内容3.1.3、列出 HDFS 上的所有目录3.1.4、用户目录下创建一个 input 目录3.1.5、根目录下创建 input 的目录3.1.6、删除子目录3.2、HDF…
文章目录前言一、实验目的二、实验平台三、实验内容和要求3.1、HDFS 目录操作3.1.1、创建用户目录3.1.2、显示 HDFS 中与当前用户对应的目录内容3.1.3、列出 HDFS 上的所有目录3.1.4、用户目录下创建一个 input 目录3.1.5、根目录下创建 input 的目录3.1.6、删除子目录3.2、HDFS 文件操作3.2.1、向 HDFS 中上传任意文本文件3.2.2、从 HDFS 中下载指定文件3.2.3、输出 HDFS 指定文件到终端中3.2.4、显示 HDFS 中指定的文件信息3.2.5、输出 HDFS 指定目录下文件信息3.2.6、指定路径创建和删除文件3.2.7、指定路径创建和删除目录3.2.8、向 HDFS 中指定的文件追加内容3.2.9、删除 HDFS 中指定的文件3.2.10、删除 HDFS 中指定的目录3.2.11、将文件从源路径移动到目的路径总结前言 本篇文章是大数据基础系列的第五篇完全针对 HDFS 文件系统目的即理解 HDFS 在 Hadoop 体系结构中的角色熟练使用 HDFS 操作常用的 Shell 命令熟悉 HDFS 操作常用的 Java API。对大数据系列感兴趣的同学可以移步本人大数据专栏查看更多内容。 前文回顾《大数据入门系列 4全网最全伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤及易错点分析》
一、实验目的
理解 HDFS 在 Hadoop 体系结构中的角色。熟练使用 HDFS 操作常用的 Shell 命令。熟悉 HDFS 操作常用的 Java API。
二、实验平台
操作系统Linux。Hadoop 版本Hadoop-3.2.1。JDK 版本java-8-openjdk-amd64。Java IDEEclipse。
三、实验内容和要求
3.1、HDFS 目录操作
Hadoop 系统安装好之后第一次使用 HDFS 时在初始化并启动之后首先需要在 HDFS 中创建用户目录。
3.1.1、创建用户目录
本次实验全部采用 bailu 用户登录 Linux 系统故在 HDFS 中为 bailu 用户创建用户目录命令如下
cd /usr/local/hadoop/hadoop-3.2.1
./bin/hdfs dfs -mkdir -p /user/bailu具体如下图所示 说明该命令表示在 HDFS 中创建一个 /user/bailu 的目录。
-mkdir 是创建目录的操作。-p 表示如果是多级目录则父目录和子目录一起创建。
注意这里 /user/bailu 就是一个多级目录因此必须使用参数 -p否则会出错。
3.1.2、显示 HDFS 中与当前用户对应的目录内容
/user/bailu 目录就成为 bailu 用户对应的用户目录。
我们可以使用如下命令显示 HDFS 中与当前 bailu 对应的用户目录下的内容
./bin/hdfs dfs -ls .说明
-ls 表示列出 HDFS 某个目录下的所有内容。. 表示 HDFS 中当前用户目录也就是 /user/bailu 目录。
等价于
./bin/hdfs dfs -ls /user/bailu3.1.3、列出 HDFS 上的所有目录
如果要列出 HDFS 上的所有目录可以使用如下命令
./bin/hdfs dfs -ls3.1.4、用户目录下创建一个 input 目录
在 bailu 用户下创建一个input目录命令如下
./bin/hdfs dfs -mkdir input具体如下图所示 说明我们在创建 input 目录时采用了相对路径形式实际上 input 目录创建成功后它在 HDFS 中的完整路径是 /user/bailu/input。
3.1.5、根目录下创建 input 的目录
如果要在 HDFS 的根目录下创建一个名为 input 的目录则需要以下命令
./bin/hdfs dfs -mkdir /input3.1.6、删除子目录
可以使用 rm 命令删除刚才在 HDFS 中创建的 /input 目录不是 /user/bailu/input 目录
./bin/hdfs dfs -rm -r /input说明-r 参数表示如果删除 /input 目录及其子目录下的所有内容如果要删除的目录包含了子目录则必须使用 -r 参数否则会执行失败。
3.2、HDFS 文件操作
首先使用 gedit 编辑器在本地 Linux 文件系统的 /home/bailu/ 目录下创建一个文件 myLocalFile.txt里面随意输入一些单词具体如下图所示 3.2.1、向 HDFS 中上传任意文本文件
向 HDFS 中上传任意文本文件如果指定的文件在 HDFS 中已经存在由用户指定是追加到原有文件末尾还是覆盖原有的文件命令如下
./bin/hdfs dfs -put /home/bailu/myLocalFile.txt input具体如下图所示 3.2.2、从 HDFS 中下载指定文件
从 HDFS 中下载指定文件如果本地文件与要下载的文件名称相同则自动对下载的文件重命名命令如下
./bin/hdfs dfs -get input/myLocalFile.txt /home/bailu/下载具体如下图所示 3.2.3、输出 HDFS 指定文件到终端中
将 HDFS 中指定文件的内容输出到终端中命令如下
./bin/hdfs dfs -cat input/myLocalFile.txt具体如下图所示 3.2.4、显示 HDFS 中指定的文件信息
显示 HDFS 中指定的文件的读写权限、大小、创建时间、路径等信息命令如下
./bin/hdfs dfs -ls input/myLocalFile.txt具体如下图所示 3.2.5、输出 HDFS 指定目录下文件信息
给定 HDFS 中某一个目录输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息如果该文件是目录则递归输出该目录下所有文件相关信息命令如下
./bin/hdfs dfs -ls input具体如下图所示 3.2.6、指定路径创建和删除文件
提供一个 HDFS 内的文件的路径对该文件进行创建和删除操作。如果文件所在目录不存在则自动创建目录以操作 empty.txt 文件为例创建文件操作命令如下
./bin/hdfs dfs -touchz empty.txt具体如下图所示 删除文件操作命令如下
./bin/hdfs dfs -rm empty.txt具体如下图所示 3.2.7、指定路径创建和删除目录
提供一个 HDFS 的目录的路径对该目录进行创建和删除操作。创建目录时如果目录文件所在目录不存在则自动创建相应目录删除目录时由用户指定当该目录不为空时是否还删除该目录以操作 empty 文件夹为例创建目录操作命令如下
./bin/hdfs dfs -mkdir empty具体如下图所示 删除目录操作命令如下
./bin/hdfs dfs -rm -r empty具体如下图所示 3.2.8、向 HDFS 中指定的文件追加内容
向 HDFS 中指定的文件追加内容由用户指定内容追加到原有文件的开头或结尾。
我们先在本地 /home/bailu 下创建 test.txt 文件并添加内容如下图所示 将 test.txt 文件上传至 HDFS 文件系统 /user/bailu/input 目录下具体如下图所示 追加 test.txt 文件至 myLocalFile.txt 文件后命令如下
./bin/hdfs dfs -appendToFile test.txt input/myLocalFile.txt具体如下图所示 3.2.9、删除 HDFS 中指定的文件
删除 HDFS 中指定的文件 test.txt命令如下
./bin/hdfs dfs -rm input/test.txt具体如下图所示 3.2.10、删除 HDFS 中指定的目录
删除 HDFS 中指定的目录由用户指定目录中如果存在文件时是否删除目录以操作 empty 目录为例先创建 empty 目录命令如下
./bin/hdfs dfs -mkdir empty具体如下图所示 删除 empty 目录命令如下
./bin/hdfs dfs -rm -r empty具体如下图所示 3.2.11、将文件从源路径移动到目的路径
在 HDFS 中将文件从源路径移动到目的路径以把 input 下的 myLocalFile.txt 文件移动到 empty 文件夹为例命令如下
./bin/hdfs dfs -mv input/myLocalFile.txt empty具体如下图所示 总结 本文通过使用 HDFS 文件系统对目录和文件两大结构类型进行了增删改查的基本操作帮助初学者进一步巩固 HDFS 的实验操作为之后的学习奠定基础。初学的同学可能会觉得甚是繁琐命令比较多熟能生巧即可。 我是白鹿一个不懈奋斗的程序猿。望本文能对你有所裨益欢迎大家的一键三连若有其他问题、建议或者补充可以留言在文章下方感谢大家的支持
