站长网站推广,ui一般用什么软件做,营销策略英文,传奇在调试环境下#xff0c;咱们用hadoop提供的shell接口测试增加删除查看#xff0c;但是不利于复杂的逻辑编程查看文件内容www.xiaorui.cc用python访问hdfs是个很头疼的事情。。。。这个是pyhdfs的库import pyhdfs
fs pyhdfs.connect(192.168.1.1, 9000)
pyhdfs.… 在调试环境下咱们用hadoop提供的shell接口测试增加删除查看但是不利于复杂的逻辑编程查看文件内容www.xiaorui.cc用python访问hdfs是个很头疼的事情。。。。这个是pyhdfs的库import pyhdfs
fs pyhdfs.connect(192.168.1.1, 9000)
pyhdfs.get(fs, /rui/111, /var/111)
f pyhdfs.open(fs, /test/xxx, w)
pyhdfs.write(fs, f, fuck\0gfw\n)
pyhdfs.close(fs, f)
pyhdfs.disconnect(fs)pyhdfs的安装过程很吐血svn checkout http://libpyhdfs.googlecode.com/svn/trunk/ libpyhdfs
cd libpyhdfs
cp /usr/lib/hadoop-0.20/hadoop-core-0.20.2-cdh3u0.jar lib/hadoop-0.20.1-core.jar
cp /usr/lib/hadoop-0.20/lib/commons-logging-1.0.4.jar lib/
cp /usr/lib/libhdfs.so.0 lib/
ln –s lib/libhdfs.so.0 lib/libhdfs.so
python setup.py install --prefix/usr/local还有就是把 selinux也给关了 不然会出现莫名的问题如果出现/usr/lib/jvm/java-6-sun/include/jni.h:27:20: error: jni_md.h: No such file or directory搜下find / -name jni.h然后修改#include jni_md.h 为 #include linux/jni_md.h这个是用pydoop的库import pydoop.hdfs as hdfs
with hdfs.open(/user/myuser/filename) as f:for line in f:print(line)我现在使用的方法是用subprocess 哈哈方法很搓吧主要原因是我这边没有太多的性能估计只是单纯的把mapreduce的接口给搞出来而已。 这么简单用用也还可以的~需要把很多自己常用的指定都封装成库 cat subprocess.Popen([hadoop, fs, -cat, /path/to/myfile], stdoutsubprocess.PIPE)
for line in cat.stdout:print line补充下从视hadoop为儿戏到现在对mapreduce半斤八两对我自己来说还是有很大的进步的。所以关于hadoop python操作不能再用以前的方法啦。 最近了解了更加方便的库算是文档和利用最好的了。pyhdfs是对libhdfs的python封装库. 它提供了一些常用方法来处理HDFS上的文件和目录, 比如读写文件, 枚举目录文件, 显示HDFS可用空间, 显示文件的复制块数等。libhdfs 是HDFS的底层C函数库, 由hadoop官方提供, pyhdfs使用swig技术, 对libhdfs提供的绝大多数函数进行了封装, 目的是提供更简单的调用方式.如何连接hadoop集群fs hadoop.HadoopDFS(username,password,ugi,64310)fs.disconnect()
如何获取当前工作目录?fs hadoop.HadoopDFS(username,password,ugi,64310)print fs.getWorkingDirectory()fs.disconnect()
如何更改当前工作目录fs hadoop.HadoopDFS(username,password,ugi,64310)print fs.setWorkingDirectory(/user/ns-lsp/logs)fs.disconnect()
如果目录不存在setWorkingDirectory()返回-1,如果执行成功返回0
如果目录不存在setWorkingDirectory()返回-1,如果执行成功返回0
如何判断某个文件/目录是否存在fs hadoop.HadoopDFS(username,password,ugi,64310)print fs.pathExists(/user/ns-lsp/logs)fs.disconnect()
文件/目录存在返回0如果不存在返回-1
如何创建一个目录?fs hadoop.HadoopDFS(username,password,ugi,64310)print fs.createDirectory(/user/ns-lsp/logs/cjj)fs.disconnect()
如果目录已经存在则返回-1如果目录创建成功返回0
如何获得当前默认块大小fs hadoop.HadoopDFS(username,password,ugi,64310)print fs.getDefaultBlockSize()fs.disconnect()
如何获得当期目录下的文件/目录fs hadoop.HadoopDFS(username,password,ugi,64310)print fs.listDirectory(/user/ns-lsp/logs)fs.disconnect()
如何移动一个文件/目录?
同一HDFS内移动文件fs hadoop.HadoopDFS(username,password,ugi,64310)print fs.move(/user/ns-lsp/logs/cjj,/user/ns-lsp/logs/cjj_new)fs.disconnect()
不同HDFS之间移动文件target_fs hadoop.HadoopDFS(username,password,ugi,64310)fs hadoop.HadoopDFS(username,password,ugi,64310)print fs.move(/user/ns-lsp/logs/cjj,/user/ns-lsp/logs/cjj_new,target_fs)fs.disconnect()
如何删除一个文件/目录?fs hadoop.HadoopDFS(username,password,ugi,64310)print fs.delete(/user/ns-lsp/logs/cjj_new)fs.disconnect()
如何重命名一个文件/目录?fs hadoop.HadoopDFS(username,password,ugi,64310)print fs.rename(/user/ns-lsp/logs/cjj,/user/ns-lsp/logs/cjj1)fs.disconnect()
如何修改一个文件/目录的权限?fs hadoop.HadoopDFS(username,password,ugi,64310)print fs.chmod(/user/ns-lsp/logs/cjj,7)fs.disconnect()
如何文件块所在的服务器名?
有时我们需要查找某些文件块所在的服务器名是什么可以如下使用:fs hadoop.HadoopDFS(username,password,ugi,64310)print fs.getHosts(/user/ns-lsp/logs/cjj/a,0,1)fs.disconnect()
返回包含服务器名的列表.$ python gethosts.py[xxxx]
如何获取一个文件/目录的信息?fs hadoop.HadoopDFS(username,password,ugi,64310)pathinfo fs.getPathInfo(/user/ns-lsp/logs/cjj)fs.disconnect()
getPathInfo()返回一个hdfsFileInfo类。
如何指定文件的备份数?fs hadoop.HadoopDFS(username,password,ugi,64310)print fs.setReplication(/user/ns-lsp/logs/cjj/a,3)fs.disconnect()
如何打开一个文件并读取数据?
要操作文件需要创建一个HadoopFile对象并利用read()方法读取数据.fs hadoop.HadoopDFS(username,password,ugi,64310)fh hadoop.HadoopFile(fs,/user/ns-lsp/logs/cjj/a)print fh.read()fh.close()fs.disconnect() 转载于:https://blog.51cto.com/rfyiamcool/1258292
