衡水网站建设服务,古镇灯饰网站建设,同ip网站怎么做,下载asp网站利用 Docker 搭建单机的 Cloudera CDH 以及使用实践
想用 CDH 大礼包#xff0c;于是先在 Mac 上和 Centos7.4 上分别搞个了单机的测试用。其实操作的流和使用到的命令差不多就一并说了:
首先前往官方下载包#xff1a;
https://www.cloudera.com/downloads/quickstart_vm…利用 Docker 搭建单机的 Cloudera CDH 以及使用实践
想用 CDH 大礼包于是先在 Mac 上和 Centos7.4 上分别搞个了单机的测试用。其实操作的流和使用到的命令差不多就一并说了:
首先前往官方下载包
https://www.cloudera.com/downloads/quickstart_vms/5-13.html
如果使用 mac 并且安装 docker。 我们可以很轻松的使用 kitematic 来获取最新版本的 cloudera docker 镜像。只需要搜 cloudera/quickstar 即可这是地址
https://hub.docker.com/r/cloudera/quickstart/ 当我们下载好镜像之后就可以愉快的将进行加载起来。macos 基本是全程无脑linux 稍微麻烦一点使用
docker import cloudera-quickstart-vm-5.13.0-0-beta-docker.tar
将镜像 import 进来。
然后使用命令启动就可以了。
Cloudera 的 docker 版本分成两部分启动。一方面是大礼包的启动 /usr/bin/docker-quickstart一方面是 Cloudera manager 本身的启动 /home/cloudera/cloudera-manager
这里我们使用命令
docker run --name cdh --hostnamequickstart.cloudera --privilegedtrue -t -i -p 8020:8020 -p 8022:8022 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 -p 50010:50010 -p 50020:50020 -p 8890:8890 -p 60010:60010 -p 10002:10002 -p 25010:25010 -p 25020:25020 -p 18088:18088 -p 8088:8088 -p 19888:19888 -p 7187:7187 -p 11000:11000 cloudera/quickstart /bin/bash -c /usr/bin/docker-quickstart /home/cloudera/cloudera-manager --express service ntpd start
直接启动两个程序。这里注意参数都可以从下面 refrence 查询到大概是什么意思合理之所以要写这么多端口映射也是为了方便我们外面的机器可以方面的访问 docker 内部的这些端口访问这些服务。 Cloudera 本身的 manager 是 7180 端口。当这些启动起来之后就可以访问目标机器 ip 的 7180 端口访问 Cloudera manager 了。 上图就是一个 dashbord 的样子。另外在 linux 机器有一个地方需要注意的是可能你的 docker 用上面命令起起来之后docker 内的实例没有办法访问外网这里我们配置一下 docker 创建容器时候的参数增加 -net host 即可。也可以在宿主机器上在 /etc/default/docker 文件。并且配置上 DOCKER_OPTS--dns host_ip 即可。 从上图我们还可以注意到另外一个问题除了主机和 manager 都没有启动。在 Cloudera 大礼包中只有 hue 和 manager 本身是什么服务都不依赖的可以在任何时候选择启动和关闭。其他的应用多多少少存在着一些启动顺序上的依赖这个要注意。
现在我们来启动几个我们关心的服务我们先来启动 HDFS。 这里我已经把它启动起来了当没有启动的时候点击 start cm(Cloudera manager) 就会把这个给启动起来。
点一下已经启动起来的 HDFS 就会到这个应用的 dashborad cm 给我们提供了非常多的图表以及面板可以关注目前机器和集群的情况如下图 目前看到的都是单节点的情况。让我意外的是启动的时候竟然还会有 Canary 模式。在这个界面点击右上角的 NameNode Web UI 就可以看到老板我们熟悉的
社区版的 HDFS 界面了。比较方便的是当我们点击 Configuration 就可以进到 HDFS 的一些配置包括块大小之类的配置这里都可以方便设置。
可以看到这一套东西真的是把能包好的东西都已经给我们列出来了。 我暂时在单机上面启了两个 app 一个 HDFS 一个 Spark 内存基本被打到了 5个G. 可以看出来其实 CDH 大礼包其实还是非常吃内存的。当我们在进行线上环境配置的
时候占用的资源肯定是只增不减。这里抛砖引玉了一个 app 接下来大家可以按照这个方法继续探索。
既然 HDFS 已经启动让我们来尝试使用 python 来操作一下 HDFS
pip install hdfs 安装 hdfscli 包
from hdfs.client import Client
client Client(http://127.0.0.1:50070, root/, timeout100)print(client.list(/))
client.upload(/, /Users/piperck/Desktop/About_me/dragen.wma)
可以看到我们可以直接创建连接client.list 是列出 HDFS 目前根目录的情况。 下面我们调用 client.upload 上传文件。
上传文件的时候可能遇到很多问题因为我们这里使用的是 docker 搭建的 CDH ,所以一般会报这个错误
(requests.packages.urllib3.connection.HTTPConnection object at 0x00000000043A3FD0: Failed to establish a new connection:[Errno 11004] getaddrinfo failed,))
这个时候我们需要去 docker 里面 hostname 一下会得到 quickstart.cloudera。我用的 macos 所以把这个直接配置进我电脑的 /etc/hosts 里。
127.0.0.1 quickstart.cloudera
否则永远报错。。这里搞了非常久需要注意一下。
之后继续尝试连接应该还会报另外一个错误
Permission denied: userroot, accessWRITE, inodequot;/quot;:hdfs:supergroup:drwxr-xr-x
很明显权限问题因为我们并没有登陆而且在本地使用的权限也不明。755 的权限导致我们无法上传文件这里的 root 权限是 hdfs 用户所以会失败
这里有两个办法可以解决这个问题
1. 调整 hdfs 的权限检查将
propertynamedfs.permissions/namevaluefalse/value
/property
设置为 False 关闭权限检查。
2. 增加一个由这个用户创建的文件夹在根目录然后将文件往那里面传就可以了。 现在我们再将传上去的文件下载回来
from hdfs.client import Client
client Client(http://127.0.0.1:50070, root/, timeout100)print(client.list(/))
client.download(/dragen.wma, /Users/piperck/Desktop)
很轻松成功了没有再出什么幺蛾子。 Reference:
https://www.cloudera.com/documentation/enterprise/5-15-x/topics/quickstart_docker_container.html ---docker 安装启动文档
https://www.cloudera.com/documentation/enterprise/5-15-x/topics/cm_mc_start_stop_service.html#cmug_topic_5_6 ---启动 hdfs 服务教程
https://blog.csdn.net/g11d111/article/details/72902112
https://dxysun.com/2018/07/19/hadoopForPythonHdfs/ PYTHONHDFS 使用教程
https://blog.csdn.net/Gamer_gyt/article/details/52446757 使用python的hdfs包操作分布式文件系统HDFS
https://segmentfault.com/a/1190000002672666 hadoop 常用文件的操作命令 官方文档1https://www.cloudera.com/documentation/enterprise/5-13-x/topics/quickstart_docker_container.html#importing_quickstart_image 官方文档2https://hub.docker.com/r/cloudera/quickstart1, 使用docker 拉取cdh的docker镜像 2, 运行容器 3, 进入容器启动cloudera服务 4, 通过web访问 http://quickstart.cloudera:7180
服务名称账户密码7180-web控制台clouderaclouderahueclouderaclouderamysqlrootcloudera
拉取cdh的docker镜像 运行容器 ###1, 使用docker 拉取cdh的docker镜像 运行容器
rootwang-pc:/var/lib/docker# docker pull cloudera/quickstartrootwang-pc:/var/lib/docker# docker run \-id \--hostnamequickstart.cloudera \
--privilegedtrue \-p 8020:8020 -p 7180:7180 -p 21050:21050 -p 50070:50070 -p 50075:50075 \-p 50010:50010 -p 50020:50020 -p 8890:8890 -p 60010:60010 -p 10002:10002 \-p 25010:25010 -p 25020:25020 -p 18088:18088 -p 8088:8088 -p 19888:19888 \-p 7187:7187 -p 11000:11000 -t -p 8888:8888 \--namemycdh3 \cloudera/quickstart /usr/bin/docker-quickstart
d805d3c51b3f4c41c68fe2f3ba923f7e710b7f3c987b990b63a8fda9ee7bec4arootwang-pc:/var/lib/docker# docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
d805d3c51b3f cloudera/quickstart /usr/bin/docker-q... 5 seconds ago Up 3 seconds 0.0.0.0:7180-7180/tcp, 0.0.0.0:7187-7187/tcp, 0.0.0.0:8020-8020/tcp, 0.0.0.0:8088-8088/tcp, 0.0.0.0:8888-8888/tcp, 0.0.0.0:8890-8890/tcp, 0.0.0.0:10002-10002/tcp, 0.0.0.0:11000-11000/tcp, 0.0.0.0:18088-18088/tcp, 0.0.0.0:19888-19888/tcp, 0.0.0.0:21050-21050/tcp, 0.0.0.0:25010-25010/tcp, 0.0.0.0:25020-25020/tcp, 0.0.0.0:50010-50010/tcp, 0.0.0.0:50020-50020/tcp, 0.0.0.0:50070-50070/tcp, 0.0.0.0:50075-50075/tcp, 0.0.0.0:60010-60010/tcp mycdh3 1 cloudera-manager启动脚本分析
/home/cloudera/cloudera-manager# cm server启动
log Starting Cloudera Manager server...
service cloudera-scm-server start 21 /dev/null
# cm agent启动
log Starting Cloudera Manager agent...
service cloudera-scm-agent start 21 /dev/null 2 进入容器 启动cdh服务
###, 运行容器, 启动cloudera
rootwang-pc:/var/lib/docker# docker exec -it mycdh3 bash
[rootquickstart /]# ls
bin boot dev etc home lib lib64 lostfound media mnt opt packer-files proc root sbin selinux srv sys tmp usr var
[rootquickstart /]# /home/cloudera/cloudera-manager --enterprise[QuickStart] Shutting down CDH services via init scripts...
kafka-server: unrecognized service
JMX enabled by default
Using config: /etc/zookeeper/conf/zoo.cfg
[QuickStart] Disabling CDH services on boot...
error reading information on service kafka-server: No such file or directory
[QuickStart] Starting Cloudera Manager server...
[QuickStart] Waiting for Cloudera Manager API...
[QuickStart] Starting Cloudera Manager agent...
[QuickStart] Activating trial license for Enterprise...
[QuickStart] Configuring deployment...
Submitted jobs: 16
[QuickStart] Deploying client configuration...
Submitted jobs: 17
[QuickStart] Starting Cloudera Management Service...
Submitted jobs: 25
[QuickStart] Enabling Cloudera Manager daemons on boot...
________________________________________________________________________________
Success! You can now log into Cloudera Manager from the QuickStart VMs browser:http://quickstart.cloudera:7180Username: clouderaPassword: cloudera 配置host映射
rootwang-pc:/home/wang# cat /etc/hosts
127.0.0.1 localhost wang-pc quickstart.cloudera 测试hdfs, yarn 是否正常
su hdfs
cd ; echo a,b,ca.txt; hdfs dfs -put a.txt /
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar wordcount /a.txt /mapred-out-wc.txt
———————————————
