Cloudera大数据平台环境搭建(CDH5131)傻瓜式说明书.docx

《Cloudera大数据平台环境搭建(CDH5131)傻瓜式说明书.docx》由会员分享，可在线阅读，更多相关《Cloudera大数据平台环境搭建(CDH5131)傻瓜式说明书.docx（35页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、Clouuderra大数数据平台台环境搭搭建（CDHH5.113.11版）版本v1.00作者郭维忠发布日期期20188-03-10目录Cloudera大数据平台环境搭建1（CDH5.13.1版）11.基础环境41.1.软件环境41.2.配置规划41.3.所需要的软件资源41.4.修改机器名（所有节点）51.5.设置防火墙（所有节点）51.6.配置免密码登录SSH61.7.关闭SELINUX（所有节点）81.8.修改Linux内核参数（所有节点）81.9.其他安装与配置（所有节点）101.10.配置NTP服务101.11.安装oracle JDK1.8 （所有节点）121.12.Mysql安装（

2、主节点）132.安装CM152.1.传包，解包152.2.创建数据库152.3.创建用户162.4.制作本地YUM源162.5.拷贝jar包172.6.修改cloudera-scm-agent配置172.7.启动CM Server和Agent182.8.访问CM183.安装CDH183.1.登录后界面183.2.选择CM版本193.3.指定主机203.4.选择CDH版本213.4.1.出现 “主机运行状态不良”错误223.5.检查主机正确性233.6.选择安装的服务233.7.角色分配243.8.数据库设置243.8.1.测试连接报错：253.9.群集设置263.10.开始安装283.11.安

3、装完成293.11.1.警告信息：294.常见错误314.1.初始化数据库错误：314.2.未能连接到 Host Monitor321. 基础环境境1.1. 软件环境境本文将介介绍Ceentoos7.4 离离线安装装CDHH和Clooudeera Mannageer过程程，软件件版本如如下：NO.软件名称称版本1.操作系统统Centtos77.4 64 位2.JDKjdk-8u1151-linnux-x6443.Clouuderr Maanagger5.133.14.CDH5.133.15.数据库Mysqql5.76.JDBCCmysqql-cconnnecttor-javva-55.1.43

4、.jarr1.2. 配置规划划本次安装装共5台服务务器，服服务器配配置及用用途如下下：NO.机器名称称内网IPP配置用途1.nodee1688172.16.3.11688C/332Gbb/1TTB主，CMM，MyssqlDDB2.nodee1699172.16.3.11698C/332Gbb/1TTB从3.nodee1700172.16.3.11708C/332Gbb/1TTB从4.nodee1711172.16.3.11718C/332Gbb/1TTB从5.nodee1722172.16.3.11728C/332Gbb/1TTB从1.3. 所需要的的软件资资源1) JDK环环境：JDK版版本

5、：11.8.0_1151jdk-8u1151-linnux-x644.rppm下载地址址：htttp:/wwww.oraaclee.coom/ttechhnettworrk/jjavaa/jaavasse/ddownnloaads/jdkk8-ddownnloaads-213331551.hhtmll2) CM包：CM版本本：5.13.1clouuderra-mmanaagerr-ceentoos7-cm55.133.1_x866_644.taar.ggz下载地址址：htttp:/aarchhivee-m/cmm5/ccm/55/clloudderaa-maanagger-cenntoss7-

6、ccm5.13.1_xx86_64.tarr.gzz3) CDH包包CDH版版本：55.133.1，CDH-5.113.11-1.cdhh5.113.11.p00.2-el77.paarceel；CDH-5.113.11-1.cdhh5.113.11.p00.2-el77.paarceel.ssha11；maniifesst.jjsonn下载地址址：httpp:/arcchivve-pprimmaryy.clloudderaa.coom/ccdh55/paarceels/5.113.11/maaniffestt.jssonhttpp:/arcchivve-pprimmaryy.clloudde

7、raa.coom/ccdh55/paarceels/5.113.11/CDDH-55.133.1-1.ccdh55.133.1.p0.2-eel7.parrcell.shha1httpp:/arcchivve-pprimmaryy.clloudderaa.coom/ccdh55/paarceels/5.113.11/CDDH-55.133.1-1.ccdh55.133.1.p0.2-eel7.parrcell4) JDBCC连接jar包：jar包包版本：5.11.43，mysqql-cconnnecttor-javva-55.1.43.jjar下载地址址：htttp:/ccenttrall.m

8、aavenn.orrg/mmaveen2/myssql/myssql-connnecctorr-jaava/5.11.433/myysqll-coonneectoor-jjavaa-5.1.443.jjar1.4. 修改机器器名（所所有节点点）1) 修改机器器名称# hoostnnameectll seet-hhosttnamme xxxx/设置机机器名#hosstnaame / 查看看本机名名这种方式式，在Cenntoss7中可以永永久性改改变主机机名称。2) 每个节点点机器，都都要配置置hossts# vii /eetc/hossts内容都改改为：127.0.00.1 loocallhos

9、st /建议议保留此此行172.16.3.1168 nodde1668172.16.3.1169 nodde1669172.16.3.1170 nodde1770172.16.3.1171 nodde1771172.16.3.1172 nodde17721.5. 设置防火火墙（所所有节点点）注：为了了简便，可可以先关关闭防所有节点点火墙，安安装完成成后，再再按照下下面步骤骤设置。防火墙常常用命令令：# fiirewwalll-cmmd-staate（查查询防火火墙状态态）#sysstemmctll sttop firrewaalldd.seerviice（关关闭防火火墙）#sysstemmct

10、ll sttartt fiirewwallld.sservvicee（开启启防火墙墙）#sysstemmctll diisabble firrewaalldd.seerviice（禁禁止fiirewwalll开机启启动）设置防火火墙策略略，在所所有节点点执行下下面脚本本（执行行前要启启动防火火墙）：/集群群机器间间可以相相互访问问fireewalll-ccmd -ppermmaneent -aadd-ricch-rrulee=rrulee faamilly=ipvv4 souurcee adddreess=1772.116.33.1668 porrt pprottocool=tcpp ppor

11、tt=00-6555355 aacceeptfireewalll-ccmd -ppermmaneent -aadd-ricch-rrulee=rrulee faamilly=ipvv4 souurcee adddreess=1772.116.33.1669 porrt pprottocool=tcpp pportt=00-6555355 aacceeptfireewalll-ccmd -ppermmaneent -aadd-ricch-rrulee=rrulee faamilly=ipvv4 souurcee adddreess=1772.116.33.1770 porrt pprottoco

12、ol=tcpp pportt=00-6555355 aacceeptfireewalll-ccmd -ppermmaneent -aadd-ricch-rrulee=rrulee faamilly=ipvv4 souurcee adddreess=1772.116.33.1771 porrt pprottocool=tcpp pportt=00-6555355 aacceeptfireewalll-ccmd -ppermmaneent -aadd-ricch-rrulee=rrulee faamilly=ipvv4 souurcee adddreess=1772.116.33.1772 por

13、rt pprottocool=tcpp pportt=00-6555355 aacceept /设置置可以访访问的端端口fireewalll-ccmd -ppermmaneent -aadd-porrt=00-6555355/tccpfireewalll-ccmd -rrelooad注意：需需要在所所有的节节点上执执行，因因为涉及及到的端端口太多多了，临临时开放放所有端端口是为为了安装装起来方方便，安安装完毕毕后可以以根据需需要设置置防火墙墙策略，保保证集群群安全。1.6. 配置免密密码登录录SSHH将子节点点设置为为从主节节点sssh无密密码登陆陆（主节点点访问从从节点需需要无密密码互通通，

14、否则则后面会会出现问问题）在主节点点上执行行：#cd /进入到到根目录录# sssh-kkeyggen -t rsaa一路回车车，生成成无密码码的密钥钥对。把公钥拷拷贝至nnodee1699服务器器上：# sccp /rooot/.sshh/idd_rssa.ppub roootnnodee1699: /输输入noode1169机机器上rroott用户密密码拷备备成功登录到nnodee1699服务器器上：然后在nnodee1699服务器器上，把把公钥的内容容追加到到autthorrizeed_kkeyss文件末末尾（这这个文件件也在隐隐藏文件件夹.sshh下，如果果没有可可以新建）：# caa

15、t iid_rrsa.pubb /.sssh/autthorrizeed_kkeyss如果提示示下面信信息，则则需要创创建./sshh目录：-bassh: /rooot/.sssh/autthorrizeed_kkeyss: NNo ssuchh fiile or dirrecttoryy/创建建/.sssh目录录,再追加加公钥内容# mkkdirr /.sssh# caat iid_rrsa.pubb /.sssh/autthorrizeed_kkeyss并设置aauthhoriizedd_keeys的的访问权权限：#chmmod 6000 /.sssh/autthorrizeed_kkey

16、ss测试：在在nodde1668点上执执行sssh nnodee1699，正常常情况下下，不需需要密码码就能直直接登陆陆进去了了。在nodde1668节点出出现下面面表示成成功登录录nodde1669节点点：以同样的的方式将将公钥拷贝至至其他节节点服务务器上。1.7. 关闭SEELINNUX（所所有节点点）关闭liinuxx SEELINNUX安安全内核核# seetennforrce 0 （临临时生效效）修改 /etcc/sellinuux/cconffig 下的 SSELIINUXX=diisabbledd （重重启后永永久生效效）# vii /eetc/sellinuux/cconffi

17、g内容增加加：SELIINUXX=diisabbledd重启后生生效：# reebooot查看SEELINNUX是是否关闭闭：#sesstattus（在Ceentoos7中遇到到SELLINUUX无法法关闭的的问题，重重新启动动机器恢恢复正常常）1.8. 修改Liinuxx内核参参数（所所有节点点）为避免安安装过程程中出现现的异常常问题，首首先调整整Linuux内核核参数。1) 设置swwapppineess，控控制换出出运行时时内存的的相对权权重，Clooudeera 建议将将 swwapppineess 设置为为 100：/查看看swaappiinesss# caat /prooc/ssy

18、s/vm/swaappiinesss/永久久性修改改，执行行下面两两条命令令#syssctll -ww vmm.swwapppineess=10# eccho vm.swaappiinesss = 100 /eetc/syssctll.coonf2) 关闭透明明大页面面：自CenntOSS6版本本开始引引入了TTrannspaarennt HHugee Paagess(THHP)，从从CenntOSS7版本本开始，该该特性默默认就会会启用。尽管TTHP的的本意是是为提升升内存的的性能，不不过某些些数据库库厂商还还是建议议直接关关闭THHP，否否则可能能会导致致性能出出现下降降。首先查看看透明大

19、大页是否否启用，alwwayss nneveer表示示已启用用，allwayys nevver表示已已禁用：# caat /syss/keerneel/mmm/ttrannspaarennt_hhugeepagge/ddefrragalwwayss mmadvvisee neeverr# caat /syss/keerneel/mmm/ttrannspaarennt_hhugeepagge/eenabbleddalwwayss mmadvvisee neeverr以上状态态就说明明是启用用的。临时关闭闭（重启启机器会会变回默默认开启启状态）：# eccho nevver /syss/keern

20、eel/mmm/ttrannspaarennt_hhugeepagge/ddefrrag#echho nneveer /ssys/kerrnell/mmm/trranssparrentt_huugeppagee/ennablled永久关闭闭：/编辑辑/etcc/rc.d/rc.loccal# vii /etcc/rc.d/rc.loccal/在文文件后添添加下面面内容:if ttestt -ff /ssys/kerrnell/mmm/trranssparrentt_huugeppagee/ennablled; thhenechoo neeverr /syys/kkernnel/mm/traan

21、sppareent_huggepaage/enaableedfiif ttestt -ff /ssys/kerrnell/mmm/trranssparrentt_huugeppagee/deefraag; theenechoo neeverr /syys/kkernnel/mm/traansppareent_huggepaage/deffraggfi保存退出出，然后后赋予rrc.llocaal文件件执行权权限：#chmmod +x /ettc/rc.d/rc.loccal重启系统统，以后后再检查查THPP状态，显显示状态态被禁用用了。3) 修改文件件句柄数数：修改系统统文件句句柄数限限制：/查

22、看看文件句句柄数，显显示10244，显然然太小#uliimitt -nn10244/修改改限制#vi /ettc/ssecuuritty/llimiits.connf/在文文件后加加入下面面内容：* sooft noffilee 10000000* haard noffilee 10000000修改后需需要重启启机器。1.9. 其他安装装与配置置（所有有节点）为避免安安装过程程中出现现异常问问题，安安装相关关依赖包包：# yuum -y innstaall psmmiscc MyySQLL-pyythoon aat bbc bbindd-liibs binnd-uutills ccupss-c

23、lliennt ccupss-liibs cyrrus-sassl-ggssaapiccyruus-sassl-pplaiin eed ffusee fuuse-libbs hhttppdhtttpdd-tooolss keeyuttilss-liibs-devvel krbb5-ddeveel llibccom_errr-deevelllibbsellinuux-ddeveelliibseepoll-deevelllibbverrto-devvelmmaillcappnoaarchhmaiilxmmod_ssllopeensssl-ddeveelpccre-devvelpposttgrees

24、qll-liibs pytthonn-pssycoopg22 reedhaat-lsbb-coore reddhatt-lsbb-subbmodd-seecurrityy xx86_64 spaax ttimee zllib-devvel#yumm innstaall -y pytthonn-lxxml#yumm innstaall krbb5-ddeveel ccyruus-ssasll-gsssappicyyruss-saasl-devve llibxxml22-deevell liibxsslt-devvelmmysqqlmyysqll-deevellopeenlddap-devvel

25、pytthonn-deevell pyythoon-ssimpplejjsonnsqllitee-deevell# chhmodd +xx /eetc/rc.d/rc.loccal# yuum -y iinsttalll rppcbiind# syysteemcttl sstarrt rrpcbbindd# eccho syysteemcttl sstarrt rrpcbbindd /etcc/rc.d/rc.loccal1.10. 配置NTTP服务务集群中所所有主机机必须保保持时间间同步，如如果时间间相差较较大会引引起各种种问题。具体建设设过程如如下：所有节点点安装相相关组件件：# yuum

26、iinsttalllnntpnttpdaate-yyNTP服服务端（主主节点）：1) 查找时间间同步服服务器hhttpp:/wwww.poool.ntpp.orrg/zzonee/assia：打开网址址，内容容如下：2) 编辑 /etcc/ntpp.coonf：# vii /etcc/ntpp.coonf/在文文件中输输入上面面网页内内容：servver 0.aasiaa.poool.ntpp.orrgservver 1.aasiaa.poool.ntpp.orrgservver 2.aasiaa.poool.ntpp.orrgservver 3.aasiaa.poool.ntpp.orrg3

27、) 启动nttp服务务：# syysteemcttlsttartt nntpdd4) 配置开机机启动：# syysteemcttlenaableenntpdd.seerviice 注意：如如果ntpdd开机启启动失效效，有可可能是因因为安装装了chhronnyd并且是是开机自自启状态态，所以以导致nntpdd开机自自启失败败。# 查看看 chhronnyd设设置状态态#sysstemmctll sttatuus cchroonydd显示如下下：以面表明明，chhronnyd显显示为开开机启动动状态。将chrronyyd设为为禁用状状态：#sysstemmctll diisabble chrro

28、nyyd.sservvicee此时，NNTP的的服务开开机自启启动完成成！5) 检查是否否设置成成功：# nttpq-pp/更新新时间#timmedaatecctlNTP客客户端（所有有从节点点）：6) 远程客户户端时间间同步测测试# daate#ntppdatte1772.116.33.1668172.16.3.1168是是NTPP服务端端IP，显示如如下信息息，测试试成功：7) 客户端设设置计划划任务，每每30分钟钟同步时时间#croontaab -e /加入入内容：0-599/300 * * * * /ussr/sbiin/ntppdatte 1172.16.3.1168 & /sbbi

29、n/hwcclocck -w8) 设置定时时任务开开机启动动/设置置开机启启动#sysstemmctll ennablle ccronnd.sservvicee/查看看状态#sysstemmctll sttatuus ccronnd1.11. 安装orraclle JJDK11.8（所有有节点）下载rppm 安安装包jjdk-8u1151-linnux-x644.rppmCenttOS系系统一般般自带OOpennJdkk，需要要卸载掉掉自带的的OpeenJddk，使使用# rppm -qa | grrep javva查询jaava相相关的包包，使用用# rppm -e noddepss +包名

30、名强制卸载载掉，下下面安装装oraalcee JDDK#rpmm -iivh jdkk-8uu1511-liinuxx-x664.rrpm配置JAAVA_HOMME环境境变量：修改/eetc/proofille文件件配置环环境变量量，执行行命令：#vi /ettc/pproffilee 在proofille文件件最后，输输入下面面内容，保保存并退退出。expoort JAVVA_HHOMEE=/uusr/javva/jjdk11.8.0_1151expoort PATTH=$PATTH:$JAVVA_HHOMEE/biin 执行下面面命令，让让配置生生效#souurcee /eetc/proo

31、fille /使修改改立即生生效#echho $PATTH /查看PPATHH值#echho $JAVVA_HHOMEE /查查看JAAVA_HOMME值在Cenntoss7中修改改/etcc/prrofiile文文件配置置环境变变量，机机器启动动后有时时不生效效，可以以修改/etcc/basshrcc文件配置置环境变变量：#vi/etcc/basshrcc/在文文件最后后加入：expoort JAVVA_HHOMEE=/uusr/javva/jjdk11.8.0_1151expoort PATTH=$PATTH:$JAVVA_HHOMEE/biin/使修修改立即即生效# soourcce /

32、etcc/basshrcc/查看看JAVVA_HHOMEE值#echho $JAVVA_HHOMEE1.12. Mysqql安装装（主节节点）到官网htttps:/m/doownlloadds/ffilee/?iid=44694456选选择对应应安装包包：1) 下载安装装包#wgeet hhttpps:/cddn.mmysqql.ccom/arrchiivess/myysqll-5.7/mmysqql-55.7.18-1.eel7.x866_644.rppm-bbunddle.tarr2) 解压安装装包# taar -xvff myysqll-5.7.118-11.ell7.xx86_64.r

33、pmm-buundlle.ttar/解压压后文件件列表：mysqql-ccommmuniity-embbeddded-devvel-5.77.188-1.el77.x886_664.rrpmmysqql-ccommmuniity-devvel-5.77.188-1.el77.x886_664.rrpmmysqql-ccommmuniity-cliientt-5.7.118-11.ell7.xx86_64.rpmmmysqql-ccommmuniity-commmonn-5.7.118-11.ell7.xx86_64.rpmmmysqql-ccommmuniity-embbeddded-5.77

34、.188-1.el77.x886_664.rrpmmysqql-ccommmuniity-embbeddded-commpatt-5.7.118-11.ell7.xx86_64.rpmmmysqql-ccommmuniity-libbs-55.7.18-1.eel7.x866_644.rppmmysqql-ccommmuniity-serrverr-miinimmal-5.77.188-1.el77.x886_664.rrpmmysqql-ccommmuniity-tesst-55.7.18-1.eel7.x866_644.rppmmysqql-ccommmuniity-minnimaal-d

35、debuuginnfo-5.77.188-1.el77.x886_664.rrpmmysqql-ccommmuniity-libbs-ccomppat-5.77.188-1.el77.x886_664.rrpm3) 按次序安安装按commmonnliibscllienntseerveer的顺顺序安装装：# rppm -ivhh myysqll-coommuunitty-ccommmon-5.77.188-1.el77.x886_664.rrpm#rpmm -iivh myssql-commmunnityy-liibs-5.77.188-1.el77.x886_664.rrpm# rppm -i

36、vhh myysqll-coommuunitty-cclieent-5.77.188-1.el77.x886_664.rrpm#rpmm -iivh myssql-commmunnityy-seerveer-55.7.18-1.eel7.x866_644.rppm#rpmm -iivh myssql-commmunnityy-deevell-5.7.118-11.ell7.xx86_64.rpmm/安装装下面包包，否则则Huee安装报报连接错错误# rppm -ivhhmyssql-commmunnityy-liibs-commpatt-5.7.118-11.ell7.xx86_64.rpmm

37、4) 启动数据据库# syysteemcttl sstarrt mmysqqld查看状态态：# syysteemcttl sstattus myssqldd5) 修改MyySQLL初始密密码1、先修修改配置置文件/etcc/ff令MySSQL跳跳过登录录时的权权限检验验，在myssqldd下加入入一行：skipp-grrantt-taablees2、重启启MySSQL#serrvicce mmysqqld resstarrt3、免密密码登录录MySSQL。#myssql4、myysqll客户端端执行如如下命令令，修改改rooot密码码mysqql useemyssql;mysqql UPDDA

38、TEE usser SETT auutheentiicattionn_sttrinng = paasswwordd(yyourr-paasswwordd) WHEERE hosst = llocaalhoost ANND uuserr = rooot;mysqql sellectt hoost,useer,autthennticcatiion_strringg,passswoord_exppireed ffromm usser; mysqql upddatee usser sett paasswwordd_exxpirred=N whheree paasswwordd_exxpirred=Y

39、/密码不不过期mysqql upddatee usser sett hoost=% whheree usser=rooot annd hhostt=llocaalhoost; /远程程可访问问mysqql fluush priivillegees; /刷新新mysqql exiit;/退出出5、修改改配置文文件/etcc/ff删除此此前新增增那一行行skiip-ggrannt-ttablles，并并重启MMySQQL(这一步步非常重重要，不不执行可可能导致致严重的的安全问问题)#serrvicce mmysqqld resstarrt /重启启Myssql2. 安装CMM2.1. 传包，解解包

40、在主节点点上下载载相关软软件包，这里里将软件件包下载载到/datta/ccdh/目录下下。#cd /daata/cdhh下载MyysqllJDBBC包：#wgeethtttp:/ccenttrall.maavenn.orrg/mmaveen2/myssql/myssql-connnecctorr-jaava/5.11.433/myysqll-coonneectoor-jjavaa-5.1.443.jjar下载CMM：#wgeethtttp:/aarchhivee-m/cmm5/ccm/55/clloudderaa-maanagger-cenntoss7-ccm5.13.1_xx86_64.ta

41、rr.gzz下载CDDH：#wgeethtttp:/aarchhivee-m/cddh5/parrcells/55.133.1/mannifeest.jsoon#wgeethtttp:/aarchhivee-m/cddh5/parrcells/55.133.1/CDHH-5.13.1-11.cddh5.13.1.pp0.22-ell7.pparccel.shaa1#wgeethtttp:/aarchhivee-m/cddh5/parrcells/55.133.1/CDHH-5.13.1-11.cddh5.13.1.pp0.22-ell7.pparccel将CM解解压到/optt/目录录：#ta

42、rr -zzxvffclooudeera-mannageer-ccenttos77-cmm5.113.11_x886_664.ttar.gz -C /oppt/#ls /oppt/clouuderracmm-5.13.12.2. 创建数据据库在主节点点上：# myysqll-h1127.0.00.1 -urooot -p/加参数数-h1227.00.0.1 指指定本机机方式，否否则可能能不允许许执行ggranntEnteer ppasssworrd: 输入入数据库库密码/在MMariiaDBB (nonne)命令令状态输输入下面面脚本：creaate dattabaase hivve DDEF

43、AAULTT CHHARSSET utff8 CCOLLLATEE uttf8_genneraal_cci;creaate dattabaase amoon DDEFAAULTT CHHARSSET utff8 CCOLLLATEE uttf8_genneraal_cci;creaate dattabaase huee DEEFAUULT CHAARSEET uutf88 COOLLAATE utff8_ggeneerall_cii;creaate dattabaase monnitoor DDEFAAULTT CHHARSSET utff8 CCOLLLATEE uttf8_genneraal_cci;creaate dattabaase oozzie DEFFAULLT CCHARRSETT uttf8 COLLLATTE uutf88_geenerral_ci;grannt aall priivillegees oon *.* to roootllocaalhoost ideentiifieed bby rooot witth ggrannt ooptiion;gran