Cloudera大数据平台环境搭建(CDH5131)傻瓜式说明书11942.docx

《Cloudera大数据平台环境搭建(CDH5131)傻瓜式说明书11942.docx》由会员分享，可在线阅读，更多相关《Cloudera大数据平台环境搭建(CDH5131)傻瓜式说明书11942.docx（35页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、Clouddera大大数据平台台环境搭建建（CDH55.13.1版）版本v1.0作者郭维忠发布日期2018-03-10目录Cloudera大数据平台环境搭建1（CDH5.13.1版）11.基础环境41.1.软件环境41.2.配置规划41.3.所需要的软件资源41.4.修改机器名（所有节点）51.5.设置防火墙（所有节点）51.6.配置免密码登录SSH61.7.关闭SELINUX（所有节点）81.8.修改Linux内核参数（所有节点）81.9.其他安装与配置（所有节点）101.10.配置NTP服务101.11.安装oracle JDK1.8 （所有节点）121.12.Mysql安装（主节点）13

2、2.安装CM152.1.传包，解包152.2.创建数据库152.3.创建用户162.4.制作本地YUM源162.5.拷贝jar包172.6.修改cloudera-scm-agent配置172.7.启动CM Server和Agent182.8.访问CM183.安装CDH183.1.登录后界面183.2.选择CM版本193.3.指定主机203.4.选择CDH版本213.4.1.出现 “主机运行状态不良”错误223.5.检查主机正确性233.6.选择安装的服务233.7.角色分配243.8.数据库设置243.8.1.测试连接报错：253.9.群集设置263.10.开始安装283.11.安装完成293

3、.11.1.警告信息：294.常见错误314.1.初始化数据库错误：314.2.未能连接到 Host Monitor321. 基础环境1.1. 软件环境本文将介绍绍Centtos7.4 离线线安装CDDH和Clouuderaa Mannagerr过程，软件件版本如下下：NO.软件名称版本1.操作系统Centoos7.44 64 位2.JDKjdk-88u1511-linnux-xx643.Cloudder MManagger5.13.14.CDH5.13.15.数据库Mysqll5.76.JDBCmysqll-connnecttor-jjava-5.1.43.jjar1.2. 配置规划本次安装

4、共共5台服务器器，服务器器配置及用用途如下：NO.机器名称内网IP配置用途1.node1168172.116.3.1688C/322Gb/11TB主，CM，MysqqlDB2.node1169172.116.3.1698C/322Gb/11TB从3.node1170172.116.3.1708C/322Gb/11TB从4.node1171172.116.3.1718C/322Gb/11TB从5.node1172172.116.3.1728C/322Gb/11TB从1.3. 所需要的软软件资源1) JDK环境境：JDK版本本：1.88.0_1151jdk-88u1511-linnux-xx64.

5、rrpm下载地址：httpp:/wwww.ooraclle.coom/teechneetworrk/jaava/jjavasse/doownlooads/jdk88-dowwnloaads-221331151.hhtml2) CM包：CM版本：5.13.1clouddera-manaager-centtos7-cm5.13.11_x866_64.tar.gz下载地址：httpp:/aarchiive-3) CDH包CDH版本本：5.13.1，CDH-55.13.1-1.cdh55.13.1.p00.2-eel7.pparceel；CDH-55.13.1-1.cdh55.13.1.p00.2-e

6、el7.pparceel.shha1；maniffest.jsonn下载地址：http:/arrchivve-prrimarry.clloudeera.ccom/ccdh5/parccels/5.133.1/mmaniffest.jsonnhttp:/arrchivve-prrimarry.clloudeera.ccom/ccdh5/parccels/5.133.1/CCDH-55.13.1-1.cdh55.13.1.p00.2-eel7.pparceel.shha1http:/arrchivve-prrimarry.clloudeera.ccom/ccdh5/parccels/5.133.1

7、/CCDH-55.13.1-1.cdh55.13.1.p00.2-eel7.pparceel4) JDBC连连接jar包：jar包版版本：5.1.43，mysqll-connnecttor-jjava-5.1.43.jaar下载地址：httpp:/ccentrral.mmavenn.orgg/mavven2/mysqql/myysql-connnectoor-jaava/55.1.443/myysql-connnectoor-jaava-55.1.443.jaar1.4. 修改机器名名（所有节节点）1) 修改机器名名称# hosstnammectll sett-hosstnamme xxxx/

8、设置机器器名#hosttnamee / 查看本本机名这种方式，在Centos7中可以永久性改变主机名称。2) 每个节点机机器，都要要配置hoosts# vi /etcc/hostts内容都改为为：127.00.0.11 loocalhhost /建议保保留此行172.116.3.168 nodee168172.116.3.169 nodee169172.116.3.170 nodee170172.116.3.171 nodee171172.116.3.172 nodee1721.5. 设置防火墙墙（所有节节点）注：为了简简便，可以以先关闭防防所有节点火墙，安安装完成后后，再按照照下面步骤骤设置

9、。防火墙常用用命令：# firrewalll-cmmd-sstatee（查询防防火墙状态态）#systtemcttl sttop ffirewwalldd.serrvicee（关闭防防火墙）#systtemcttl sttart fireewallld.seervicce（开启启防火墙）#systtemcttl diisablle fiirewaalld.servvice（禁禁止firrewalll开机启启动）设置防火墙墙策略，在在所有节点点执行下面面脚本（执执行前要启启动防火墙墙）：/集群机机器间可以以相互访问问firewwall-cmd -perrmaneent -addd-ricch-r

10、uule=rulee fammily=ipvv4 ssourcce adddresss=1172.116.3.168 porrt prrotoccol=tcp portt=0-655335 aaccepptfirewwall-cmd -perrmaneent -addd-ricch-ruule=rulee fammily=ipvv4 ssourcce adddresss=1172.116.3.169 porrt prrotoccol=tcp portt=0-655335 aaccepptfirewwall-cmd -perrmaneent -addd-ricch-ruule=rulee fam

11、mily=ipvv4 ssourcce adddresss=1172.116.3.170 porrt prrotoccol=tcp portt=0-655335 aaccepptfirewwall-cmd -perrmaneent -addd-ricch-ruule=rulee fammily=ipvv4 ssourcce adddresss=1172.116.3.171 porrt prrotoccol=tcp portt=0-655335 aaccepptfirewwall-cmd -perrmaneent -addd-ricch-ruule=rulee fammily=ipvv4 sso

12、urcce adddresss=1172.116.3.172 porrt prrotoccol=tcp portt=0-655335 aacceppt /设置可可以访问的的端口firewwall-cmd -perrmaneent -addd-porrt=0-655335/tccpfirewwall-cmd -relload注意：需要要在所有的的节点上执执行，因为为涉及到的的端口太多多了，临时时开放所有有端口是为为了安装起起来方便，安安装完毕后后可以根据据需要设置置防火墙策策略，保证证集群安全全。1.6. 配置免密码码登录SSSH将子节点设设置为从主主节点sssh无密码码登陆（主节点访访问从节点

13、点需要无密密码互通，否否则后面会会出现问题题）在主节点上上执行：#cd /进入入到根目录录# sshh-keyygen -t rrsa一路回车，生生成无密码码的密钥对对。把公钥拷贝贝至nodde1699服务器上上：# scpp /rooot/.ssh/iid_rssa.puub roootnnode1169: /输入入nodee169机机器上rooot用户户密码拷备备成功登录到noode1669服务器器上：然后在noode1669服务器器上，把公公钥的内容追追加到auuthorrizedd_keyys文件末末尾（这个个文件也在在隐藏文件件夹.ssh下，如果没有可可以新建）：# catt id_

14、rsa.pub /.sssh/authhorizzed_kkeys如果提示下下面信息，则则需要创建建./ssh目录录：-bashh: /rroot/.sshh/authhorizzed_kkeys: No suchh fille orr dirrectoory/创建/.sshh目录,再追加公公钥内容# mkddir /.sssh# catt id_rsa.pub /.sssh/authhorizzed_kkeys并设置auuthorrizedd_keyys的访问问权限：#chmood 6000 /.sshh/authhorizzed_kkeys测试：在nnode1168点上执行行ssh nno

15、de1169，正正常情况下下，不需要要密码就能能直接登陆陆进去了。在nodee168节点出现现下面表示示成功登录录nodee169节节点：以同样的方方式将公钥拷贝至其他他节点服务务器上。1.7. 关闭SELLINUXX（所有节节点）关闭linnux SSELINNUX安全全内核# settenfoorce 0 （临临时生效）修改 /eetc/seliinux/conffig 下下的 SEELINUUX=diisablled （重重启后永久久生效）# vi /etcc/seliinux/conffig内容增加：SELINNUX=ddisabbled重启后生效效：# rebboot查看SELLIN

16、UXX是否关闭闭：#sesttatuss（在Cenntos77中遇到SEELINUUX无法关关闭的问题题，重新启启动机器恢恢复正常）1.8. 修改Linnux内核核参数（所所有节点）为避免安装装过程中出出现的异常常问题，首首先调整LLinuxx内核参数数。1) 设置swaappinness，控控制换出运运行时内存存的相对权权重，Clouuderaa 建议将将 swaappinness 设置为 10：/查看sswapppinesss# catt /prroc/ssys/vvm/swapppineess/永久性性修改，执执行下面两两条命令#syscctl -w vmm.swaappinness=1

17、0# echho vmm.swaappinness = 100 /etcc/syscctl.cconf2) 关闭透明大大页面：自CenttOS6版版本开始引引入了Trranspparennt Huuge PPagess(THPP)，从CenntOS77版本开始始，该特性性默认就会会启用。尽尽管THPP的本意是是为提升内内存的性能能，不过某某些数据库库厂商还是是建议直接接关闭THHP，否则则可能会导导致性能出出现下降。首先查看透透明大页是是否启用，aalwayys nneverr表示已启启用，allwayss neever表示已禁禁用：# catt /syys/keernell/mm/trann

18、sparrent_hugeepagee/deffragalwaays madvvise neveer# catt /syys/keernell/mm/trannsparrent_hugeepagee/enaableddalwaays madvvise neveer以上状态就就说明是启启用的。临时关闭（重启机器会变回默认开启状态）：# echho neever /ssys/kkerneel/mmm/traanspaarentt_huggepagge/deefragg#echoo nevver /syys/keernell/mm/trannsparrent_hugeepagee/enaabledd

19、永久关闭：/编辑/etc/rc.dd/rc.llocall# vi /etc/rc.dd/rc.llocall/在文件件后添加下下面内容:if teest -f /ssys/kkerneel/mmm/traanspaarentt_huggepagge/ennableed; tthenecho neveer /syss/kerrnel/mm/ttransspareent_hhugeppage/enabbledfiif teest -f /ssys/kkerneel/mmm/traanspaarentt_huggepagge/deefragg; thhenecho neveer /syss/ker

20、rnel/mm/ttransspareent_hhugeppage/defrragfi保存退出，然然后赋予rrc.loocal文文件执行权权限：#chmood +xx /ettc/rc.dd/rc.llocall重启系统，以以后再检查查THP状态态，显示状状态被禁用用了。3) 修改文件句句柄数：修改系统文文件句柄数数限制：/查看文文件句柄数数，显示11024，显显然太小#ulimmit -n1024/修改限限制#vi /etc/ssecurrity/limiits.cconf/在文件件后加入下下面内容：* sofft noofilee 1000000* harrd noofilee 10000

21、00修改后需要要重启机器器。1.9. 其他安装与与配置（所所有节点）为避免安装装过程中出出现异常问问题，安装装相关依赖赖包：# yumm -yy innstalll pssmiscc MySSQL-ppythoon att bc biind-llibs bindd-utiils ccups-clieent ccups-libss cyrrus-ssasl-gssaapicyyrus-sasll-plaain eed fuuse ffuse-libss htttpdhtttpd-toolls keeyutiils-llibs-deveel krrb5-ddevell libbcom_err-de

22、veellibbseliinux-deveellibbsepool-deevelllibveerto-deveelmaiilcappnoarrchmaailxmmod_sssloppensssl-deevelppcre-deveelposstgreesql-libss pytthon-psyccopg22 reddhat-lsb-ccore redhhat-lsb-submmod-ssecurrity x866_64 spaxx timme zllib-ddevell#yum insttall -y ppythoon-lxxml#yum insttall krb55-devvel ccyrus

23、s-sassl-gsssapiicyruus-saasl-ddeve libxxml2-deveel liibxsllt-deevelmmysqllmysqql-deeveloopenlldap-deveel pyythonn-devvel ppythoon-siimpleejsonnsqliite-ddevell# chmmod +x /eetc/rc.dd/rc.llocall# yumm -y insttall rpcbbind# sysstemcctl sstartt rpccbindd# echho ssysteemctll staart rrpcbiind /etc/rc.dd/r

24、c.llocall1.10. 配置NTPP服务集群中所有有主机必须须保持时间间同步，如如果时间相相差较大会会引起各种种问题。具具体建设过过程如下：所有节点安安装相关组组件：# yumminsstalllnttpntppdatee-yyNTP服务务端（主节节点）：1) 查找时间同同步服务器器httpp:/wwww.ppool.ntp.org/zonee/asiia：打开网址，内内容如下：2) 编辑 /eetc/ntp.conff：# vi /etc/ntp.conff/在文件件中输入上上面网页内内容：serveer 0.asiaa.poool.nttp.orrgserveer 1.asiaa.p

25、oool.nttp.orrgserveer 2.asiaa.poool.nttp.orrgserveer 3.asiaa.poool.nttp.orrg3) 启动ntpp服务：# sysstemcctlsttart ntppd4) 配置开机启启动：# sysstemcctlenabblentpdd.serrvicee 注意：如果果ntpd开机机启动失效效，有可能能是因为安安装了chhronyyd并且是开开机自启状状态，所以以导致nttpd开机机自启失败败。# 查看 chrronydd设置状态态#systtemcttl sttatuss chrronydd显示如下：以面表明，chronyd显示为

26、开机启动状态。将chroonyd设设为禁用状状态：#systtemcttl diisablle chhronyyd.seervicce此时，NTTP的服务务开机自启启动完成！5) 检查是否设设置成功：# ntppq-p/更新时时间#timeedateectlNTP客户户端（所有从从节点）：6) 远程客户端端时间同步步测试# datte#ntpddate1172.116.3.168172.116.3.168是是NTP服务务端IP，显示如下下信息，测测试成功：7) 客户端设置置计划任务务，每300分钟同步时时间#cronntab -e /加入内内容：0-59/30 * * * * /usr/sbi

27、nn/ntpddate 172.16.33.1688 & /sbiin/hwcllock -w8) 设置定时任任务开机启启动/设置开开机启动#systtemcttl ennablee croond.sserviice/查看状状态#systtemcttl sttatuss croond1.11. 安装oraacle JDK11.8（所有节节点）下载rpmm 安装包包jdk-8u1551-liinux-x64.rpmCentOOS系统一一般自带OOpenJJdk，需需要卸载掉掉自带的OpennJdk，使使用# rpmm -qaa | ggrep javaa查询javva相关的的包，使用用# rpm

28、m -e noddeps +包名强制卸载掉掉，下面安安装oraalce JDK#rpm -ivhh jdkk-8u1151-llinuxx-x644.rpmm配置JAVVA_HOOME环境境变量：修改/ettc/prrofille文件配置环环境变量，执行命令：#vi /etc/pprofiile 在proffile文文件最后，输输入下面内内容，保存存并退出。exporrt JAAVA_HHOME=/usrr/javva/jddk1.88.0_1151exporrt PAATH=$PATHH:$JAAVA_HHOME/bin 执行下面命命令，让配配置生效#sourrce /etc/pprofii

29、le /使使修改立即即生效#echoo $PAATH /查查看PATTH值#echoo $JAAVA_HHOME /查看JAAVA_HHOME值值在Centtos7中修改/etc/pprofiile文件件配置环境境变量，机机器启动后后有时不生生效，可以以修改/etc/bashhrc文件件配置环境境变量：#vi/eetc/bashhrc/在文件件最后加入入：exporrt JAAVA_HHOME=/usrr/javva/jddk1.88.0_1151exporrt PAATH=$PATHH:$JAAVA_HHOME/bin/使修改改立即生效效# souurce /etcc/bashhrc/查看J

30、JAVA_HOMEE值#echoo $JAAVA_HHOME1.12. Mysqll安装（主主节点）到官网htttps:/devv.myssql.ccom/ddownlloadss/fille/?iid=46694566选择对应应安装包：1) 下载安装包包#wgett htttps:/cdnn.myssql.ccom/archhivess/myssql-55.7/mmysqll-5.77.18-1.ell7.x886_644.rpmm-bunndle.tar2) 解压安装包包# tarr -xvvf myysql-5.7.18-11.el77.x866_64.rpm-bunddle.ttar/

31、解压后后文件列表表：mysqll-commmuniity-eembeddded-deveel-5.7.188-1.eel7.xx86_664.rppmmysqll-commmuniity-ddevell-5.77.18-1.ell7.x886_644.rpmmmysqll-commmuniity-ccliennt-5.7.188-1.eel7.xx86_664.rppmmysqll-commmuniity-ccommoon-5.7.188-1.eel7.xx86_664.rppmmysqll-commmuniity-eembeddded-5.7.18-11.el77.x866_64.rpmmy

32、sqll-commmuniity-eembeddded-comppat-55.7.118-1.el7.x86_64.rrpmmysqll-commmuniity-llibs-5.7.18-11.el77.x866_64.rpmmysqll-commmuniity-sserveer-miinimaal-5.7.188-1.eel7.xx86_664.rppmmysqll-commmuniity-ttest-5.7.18-11.el77.x866_64.rpmmysqll-commmuniity-mminimmal-ddebugginfoo-5.77.18-1.ell7.x886_644.rpmm

33、mysqll-commmuniity-llibs-comppat-55.7.118-1.el7.x86_64.rrpm3) 按次序安装装按commmonlibbscliientserrver的的顺序安装装：# rpmm -ivvh myysql-commmunitty-coommonn-5.77.18-1.ell7.x886_644.rpmm#rpm -ivhh myssql-ccommuunityy-libbs-5.7.188-1.eel7.xx86_664.rppm# rpmm -ivvh myysql-commmunitty-cllientt-5.77.18-1.ell7.x886_64

34、4.rpmm#rpm -ivhh myssql-ccommuunityy-serrver-5.7.18-11.el77.x866_64.rpm#rpm -ivhh myssql-ccommuunityy-devvel-55.7.118-1.el7.x86_64.rrpm/安装下下面包，否否则Huee安装报连连接错误# rpmm -ivvhmyssql-ccommuunityy-libbs-coompatt-5.77.18-1.ell7.x886_644.rpmm4) 启动数据库库# sysstemcctl sstartt myssqld查看状态：# sysstemcctl sstatuus m

35、yysqldd5) 修改MySSQL初始始密码1、先修改改配置文件件/etc/my.ccnf令MySQQL跳过登登录时的权权限检验，在在mysqqld下加入一一行：skip-grannt-taabless2、重启MMySQLL#servvice mysqqld rrestaart3、免密码码登录MyySQL。#mysqql4、myssql客户户端执行如如下命令，修修改rooot密码mysqll useemysqql;mysqll UPDDATE userr SETT autthentticattion_striing = passsworrd(yyour-passswordd) WWHEREE

36、 hosst = loccalhoost AND userr = roott;mysqll seelectt hosst,usser,authhentiicatiion_sstrinng,passswordd_exppiredd froom usser; mysqll uppdatee useer seet paasswoord_eexpirred=N wwheree passsworrd_exxpireed=YY /密码不过过期mysqll uppdatee useer seet hoost=% wwheree useer=rroot andd hosst=llocallhostt; /远程

37、可可访问mysqll fllush privvilegges; /刷新mysqll exxit;/退出5、修改配配置文件/etc/my.ccnf删除除此前新增增那一行sskip-grannt-taabless，并重启启MySQQL(这一步非非常重要，不不执行可能能导致严重重的安全问问题)#servvice mysqqld rrestaart /重启Myssql2. 安装CM2.1. 传包，解包包在主节点上上下载相关软软件包，这里将将软件包下下载到/dataa/cdhh/目录下。#cd /dataa/cdhh下载MyssqlJDDBC包：#wgetthttpp:/ccentrral.mmaven

38、n.orgg/mavven2/mysqql/myysql-connnectoor-jaava/55.1.443/myysql-connnectoor-jaava-55.1.443.jaar下载CM：#wgetthttpp:/aarchiive-下载CDHH：#wgetthttpp:/aarchiive-#wgetthttpp:/aarchiive-#wgetthttpp:/aarchiive-将CM解压压到/opt/目录：#tar -zxvvfcloouderra-maanageer-ceentoss7-cmm5.133.1_xx86_664.taar.gzz -C /opt/#ls /opt

39、/cloudderaccm-5.13.112.2. 创建数据库库在主节点上上：# myssql-hh127.0.0.1 -urooot -pp/加参数-h1277.0.00.1 指指定本机方方式，否则则可能不允允许执行ggranttEnterr passsworrd: 输入数数据库密码码/在MaariaDDB (nonee)命命令状态输输入下面脚脚本：creatte daatabaase hhive DEFAAULT CHARRSET utf88 COLLLATEE utff8_geeneraal_cii;creatte daatabaase aamon DEFAAULT CHARRSET u

40、tf88 COLLLATEE utff8_geeneraal_cii;creatte daatabaase hhue DDEFAUULT CCHARSSET uutf8 COLLLATE utf88_gennerall_ci;creatte daatabaase mmonittor DDEFAUULT CCHARSSET uutf8 COLLLATE utf88_gennerall_ci;creatte daatabaase oooziee DEFFAULTT CHAARSETT utff8 COOLLATTE uttf8_ggenerral_cci;grantt alll priivilee

41、ges on *.* tto roootllocallhostt ideentiffied by roott wiith ggrantt opttion;grantt alll on *.* tto rooot% IIdenttifieed byy rooot;flushh priivileeges;exit;/复制MMysqllJDBCC包到/oppt/cmm-5.113.1/sharre/cmmf/liib/目录录#cpmyysql-connnectoor-jaava-55.1.443-biin.jaar/oppt/cmm-5.113.1/sharre/cmmf/liib/初始化化CM，执

42、行行下面脚本本#/optt/cm-5.133.1/ssharee/cmff/schhema/scm_preppare_dataabasee.sh mysqql cmm -hnnode1168 -urooot -prooot -scmm-hosst noode1668 sccmscmmscm/如果出出现下面错错误：java.sql.SQLEExcepptionn: Acccesss dennied for userr roootloccalhoost (usiing ppasswword: YESS)/解决办办法：在/etcc/hossts 文文件中，加加上127.00.0.11 loccalhoost.nnode1168主节点/eetc/hhostss内容：脚本/sccm_prreparre_daatabaase.ssh执行成成功界面：2.3. 创建用户在所有节点点上执行：# useeraddd -ssysteem -homee=/oppt/cmm-5.113.1/run/clouuderaa-scm-servver -shhell=/binn/fallse -commmentt Clloudeera SSCM UUser cloouderra-sccm2.4. 制作本地