ToB企服应用市场:ToB评测及商务社交产业平台

标题: 大数据入门实践一：mac安装Hadoop，Hbase，FLume [打印本页]
作者: 络腮胡菲菲    时间: 2024-8-9 03:38
标题: 大数据入门实践一：mac安装Hadoop，Hbase，FLume
一、安装Hadoop

安装hadoop参考此文，关键点是安装JDK和Hadoop的设置，为避免引用文章变收费，我把关键信息摘录如下：
jdk安装和设置就不说了(我本机安装了1.8/15/17/21，以17为主），hadoop安装过程：
1.设置SSH免密

1. 打开系统偏好设置，在输入框输入sharing（共享），勾选”远程连接“：

2.打开终端，依次输入如下下令：
  1. ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
  2. cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  3. chmod 0600 ~/.ssh/id_rsa.pub
复制代码
3.输入【ssh localhost】验证，无需输入暗码则乐成
2.下载并解压hadoop安装包

到官网下载需要的版本，我下载的是3.3.6，然后解压到用户下自己用户名的目录下：
3.修改设置文件

(1)vim ～/.zprofile（路径修改为自己安装包的路径）
  1. # Hadoop
  2. export HADOOP_HOME=/Users/wangxiaoxuan/hadoop-3.3.6/
  3. export HADOOP_INSTALL=$HADOOP_HOME
  4. export HADOOP_MAPRED_HOME=$HADOOP_HOME
  5. export HADOOP_COMMON_HOME=$HADOOP_HOME
  6. export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME
  7. export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
  8. export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
  9. export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/nativ"
复制代码
输入【source ~/.zprofile】使内容生效
（2）cd /Users/wangxiaoxuan/hadoop-3.3.6/etc/hadoop 
vim hadoop-env.sh
  1. export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk-1.8.jdk/Contents/Home"
复制代码
（3）vim core-site.xml，将标签<configuration></configuration>中内容替换如下，路径需换成自己的路径
  1. <configuration>
  2.     <property>
  3.         <name>hadoop.tmp.dir</name>
  4.         <value>/Users/wangxiaoxuan/hdfs/tmp/</value>
  5.     </property>
  6.     <property>
  7.         <name>fs.default.name</name>
  8.         <value>hdfs://127.0.0.1:9000</value>
  9.     </property>
  10. </configuration>
复制代码
（4）vim hdfs-site.xml，将标签<configuration></configuration>中内容替换如下，路径需换成自己的路径
  1.   <property>
  2.       <name>dfs.data.dir</name>
  3.       <value>/Users/wangxiaoxuan/hdfs/namenode</value>
  4.   </property>
  5.   <property>
  6.       <name>dfs.data.dir</name>
  7.       <value>/Users/wangxiaoxuan/hdfs/datanode</value>
  8.   </property>
  9.   <property>
  10.       <name>dfs.replication</name>
  11.       <value>1</value>
  12.   </property>
  13. </configuration>
复制代码
（5）vim mapred-site.xml，将标签<configuration></configuration>中内容替换如下，无需更改路径
  1. <configuration>
  2.   <property>
  3.     <name>mapreduce.framework.name</name>
  4.     <value>yarn</value>
  5.   </property>
  6. </configuration>
复制代码
（6）vim yarn-site.xml，将标签<configuration></configuration>中内容替换如下，无需更改路径
  1. <configuration>
  2.   <property>
  3.     <name>yarn.nodemanager.aux-services</name>
  4.     <value>mapreduce_shuffle</value>
  5.   </property>
  6.   <property>
  7.     <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  8.     <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  9.   </property>
  10.   <property>
  11.     <name>yarn.resourcemanager.hostname</name>
  12.     <value>127.0.0.1</value>
  13.   </property>
  14.   <property>
  15.     <name>yarn.acl.enable</name>
  16.     <value>0</value>
  17.   </property>
  18.   <property>
  19.     <name>yarn.nodemanager.env-whitelist</name>
  20.     <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PERPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
  21.   </property>
  22. </configuration>
复制代码
4.运行

执行【hdfs namenode -format】 假如报错，需要先执行【stop-all.sh】

执行【start-all.sh】,查看resourcemanager 和nodemanagers是否启动乐成

执行【jps】可查看历程

5.验证

在浏览器中输入http://localhost:9870/
显示如下：

二、安装HBase

参考了此文
1.下载安装包，我下载的是2.6.0，解压

2.设置

（1）vim conf/hbase-site.xml  去设置hbase.rootdir，来选择HBase将数据写到哪个目录 
  1. <configuration>
  2.     <property>
  3.         <name>hbase.rootdir</name>
  4.         <value>hdfs://localhost:9000/hbase</value>
  5.     </property>
  6.     <property>
  7.         <name>hbase.cluster.distributed</name>
  8.         <value>true</value>
  9.     </property>
  10.     <property>
  11.         <name>hbase.unsafe.stream.capability.enforce</name>
  12.         <value>false</value>
  13.     </property>
  14. </configuration>
复制代码
hbase.rootdir：该参数订定了HReion服务器的位置，即数据存放的位置。主要端口号要和Hadoop相应设置一致。
hbase.cluster.distributed：HBase的运行模式。false是单机模式，true是分布式模式。若为false, HBase和Zookeeper会运行在同一个JVM里面，默以为false。
 
3.启动HBase

cd /users/shuaizai/hbase/hbase-2.3.0/bin，执行start-hbase.sh
启动完成后通过jps下令检查HBase历程：

启动乐成后可以看到几个正在运行的Java历程，包罗Hadoop(DataNode、NameNode)、Zookeeper(HQuorumPeer)和HBase(HMaster、HRegionServer)。
可以打开http://localhost:16010/master-status 查看
4.操作



  1.   create 'student','Sname','Ssex','Sage','Sdept','course'
复制代码

5.退出


三、Flume

参考此文，我用的brew，之前没有安装homebrew，安装后再用brew install flume安装的Flume。
不知道是网络问题还是什么缘故原由，我安装下载了差不多一天，占用空间快2G才安装完成，中间失败好频频，重复执行就好了。
1.设置情况变量

vim ~/.bash_profile ，路径修改为自己的flume安装路径：
  1. export FLUME_HOME=/usr/local/Cellar/flume/1.11.0/libexec
  2. export FLUME_CONF_DIR=$FLUME_HOME/conf
  3. export PATH=$FLUME_HOME/bin:$PATH
复制代码
source ~/.bash_profile 使设置生效
2.设置flume-env.sh

  1. cd /opt/homebrew/Cellar/flume/1.9.0_1/libexec/conf
  3. cp flume-env.sh.template flume-env.sh
  5. vim flume-env.sh
复制代码
  1. export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk-17.jdk/Contents/Home
  2. export JAVA_OPTS="-Xms100m -Xmx2000m -Dcom.sun.management.jmxremote"
复制代码
根据自己jdk情况修改设置即可
执行 flume-ng version查看版本号。

安装完成

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。



欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/) Powered by Discuz! X3.4