CentOS和Ubuntu系统下安装HttpFS（助推Hue部署搭建）

阅读次数：180 次来源：admin 发布时间：2022-03-19 06:46

不多说，直接上干货！

我的集群机器情况是 bigdatamaster（192.168.80.10）、bigdataslave1（192.168.80.11）和bigdataslave2（192.168.80.12）

然后，安装目录是在/home/hadoop/app下。

官方建议在master机器上安装Hue，我这里也不例外。安装在bigdatamaster机器上。

　Hue版本：hue-3.9.0-cdh5.5.4

需要编译才能使用（联网）

说给大家的话：大家电脑的配置好的话，一定要安装cloudera manager。毕竟是一家人的。

同时，我也亲身经历过，会有部分组件版本出现问题安装起来要个大半天时间去排除，做好心里准备。废话不多说，因为我目前读研，自己笔记本电脑最大8G，只能玩手动来练手。

纯粹是为了给身边没高配且条件有限的学生党看的！但我已经在实验室机器群里搭建好cloudera manager 以及 ambari都有。

Cloudera安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐） Ambari安装搭建部署大数据集群（图文分五大步详解）（博主强烈推荐）

因为hadoop集群中需要配置一个图形化管理数据的截面，后来找到HUE，那么在配置HUE的过程中，发现需要配置httpfs，因为配置了httpfs，hue才能去操作hdfs中的数据。

HttpFs能干啥呢，它可以使你能在浏览器中管理HDFS上的文件，例如在HUE中；它还提供了一套REST风格的API用来管理HDFS。

这是官网文档

http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.4/manual.html#_install_hue

一、CentOs系统下安装HttpFS

跟如下一样

二、Ubuntu系统下安装HttpFS

1 集群环境

Ubuntu-14.10

openjdk-7

hadoop-2.6.0 HA(双NN)

hue-3.9.0-cdh5.5.4

2 安装

因为hadoop中自带了httpfs所以，这里不需要下载其他包，只需要进行一下配置

CentOS和Ubuntu系统下安装HttpFS（助推Hue部署搭建）

在各个机器的$HADOOP_HOME/etc/hadoop/

<property>
  <name>httpfs.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>httpfs.proxyuser.hue.groups</name>
  <value>*</value>
</property>

　　注意：httpfs.proxyuser.hadoop.hosts第二个是启动httpfs的用户名

同时，还要配置WebHdfs，别忘记啦！

在core-site.xml 和 hdfs-site.xml下，添加如下

CentOS和Ubuntu系统下安装HttpFS（助推Hue部署搭建）

core-site.xml下

<property>
  <name>hadoop.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hue.groups</name>
  <value>*</value>
</property>

hdfs-site.xml下

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

到此配置完毕，启动httpfs，进入hadoop sbin下，运行

httpfs.sh start

启动成功后jps会多一个Bootstrap 进程。

浏览器访问http://localhost:14000/

页面显示：HttpFs service, service base URL at /webhdfs/v1. 根目录为：/webhdfs/v1

参考

http://hadoop.apache.org/docs/current/hadoop-hdfs-httpfs/ServerSetup.html

http://www.cloudera.com/content/cloudera/en/documentation/cdh4/latest/CDH4-Installation-Guide/cdh4ig_configuring_cdh_hue.html

欢迎大家，加入我的微信公众号：大数据躺过的坑人工智能躺过的坑

同时，大家可以关注我的个人博客：

http://www.cnblogs.com/zlslch/ 和 http://www.cnblogs.com/lchzls/ http://www.cnblogs.com/sunnyDream/

详情请见：http://www.cnblogs.com/zlslch/p/7473861.html

人生苦短，我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神，汇聚于互联网和个人学习工作的精华干货知识，一切来于互联网，反馈回互联网。

目前研究领域：大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。语言涉及：Java、Scala、Python、Shell、Linux等。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。只要你一直关注和呆在群里，每天必须有收获

对应本平台的讨论和答疑QQ群：大数据和人工智能躺过的坑（总群）（161156071）

CentOS和Ubuntu系统下安装HttpFS（助推Hue部署搭建）