物联网架构之Hadoop(分布式文件系统与企业级应用)

打印 上一主题 下一主题

主题 532|帖子 532|积分 1596











存储;运算;管理;















HaDoop软件包;


将软件包拉取到三个节点;


关闭防火墙及内核安全机制;


然后修改三个节点的主机名;分别是node1、2、3;


再修改hosts文件,方便用主机名进行剖析;



如果考虑要扩展节点,那么要在该文件中写入新添加节点的主机名和IP地址;

创建运行hadoop时所需的账户及组;


为该用户设置暗码,方便后续以该用户的身份实行程序;


然后对该用户进行单独设置权限;



然后再把java情况拉入到三个主机;



然后安装该软件包;


默认会安装到该路径下;


然后添加全局变量文件;

使得系统可以或许识别到jdk的情况;



重载一下文件,并测试;


以hsuser的身份登录进去,然后天生免密登录的密钥对;

仅在101主机上实行即可;

保持默认到最后即可;


然后拷贝到其他节点;


将hadoop的安装包,拷贝到hduser的家目次,并切换到该用户下进行解压;


将hadoop的下令追加到全局变量文件中;




另外两个节点以同样的方式写入即可;

然后检察hadoop的设置文件,起首以hduser的身份登录进入到解压目次下的etc;


该文件中写的是从节点(DataNode)的主机名;

如果要扩展的话,这个文件也是必改项;


下一个;


写入描黑的语句;管理主机的主机名及端口,和缓存目次的路径等信息;



输入一下描黑的信息;


然后将描黑的模版文件拷贝成可以使用的文件;



这个文件中定义的是yarn组件的信息;



该文件中定义yarn的历程要运行在哪个节点上;


然后以scp的方式拷贝给其他节点的相同位置下;



将hadoop进行一个初始化,进入到解压目次下的bin下;


然后启动hadoop;


然后验证一下;

正产情况下是要显示三行的内容的;


启动yarn组件;


检察报告内容;



hadoop为用户提供了web管理界面,再次验证;

注意指定端口:50070;



然后对hadoop进行性能测试;

创建一个测试用的目次,然后在天生测试文件;


然后进入到解压目次,将所有的组件都启动起来;


用该语句创建目次;

注意该目次没有创建在本机,是创建另外的一个存储区域、(hdfs);


然后再将创建的测试文件上传到该目次下;


然后可以检察该目次下的文件;


要求可以或许看到文件的内容;


使用以下语句进行字符统计;




免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

半亩花草

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表