大数据平台环境搭建傻瓜式说明书9980.docx

《大数据平台环境搭建傻瓜式说明书9980.docx》由会员分享，可在线阅读，更多相关《大数据平台环境搭建傻瓜式说明书9980.docx（44页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、Cloudderaa大数据据平台环环境搭建建（CDH55.133.1版版）版本v1.0作者郭维忠发布日期2018-03-10Cloudera大数据平台环境搭建（CDH5.13.1）目录Cloudderaa大数据据平台环环境搭建建1（CDH55.133.1版版）11.基础环环境41.1.软软件环境境41.2.配配置规划划41.3.所所需要的的软件资资源41.4.修修改机器器名（所所有节点点）51.5.设设置防火火墙（所所有节点点）51.6.配配置免密密码登录录SSHH61.7.关关闭SEELINNUX（所所有节点点）81.8.修修改Liinuxx内核参参数（所所有节点点）81.9.其其他安装装与

2、配置置（所有有节点）101.10.配置NNTP服服务1001.11.安装ooraccle JDKK1.88 （所所有节点点）1221.12.Myssql安安装（主主节点）132.安装CCM1552.1.传传包，解解包1552.2.创创建数据据库1552.3.创创建用户户162.4.制制作本地地YUMM源1662.5.拷拷贝jaar包1172.6.修修改clloudderaa-sccm-aagennt配置置172.7.启启动CMM Seerveer和AAgennt1882.8.访访问CMM183.安装CCDH1183.1.登登录后界界面1883.2.选选择CMM版本1193.3.指指定主机机20

3、3.4.选选择CDDH版本本213.4.11.出现现 “主主机运行行状态不不良”错错误2223.5.检检查主机机正确性性233.6.选选择安装装的服务务233.7.角角色分配配243.8.数数据库设设置2443.8.11.测试试连接报报错：2253.9.群群集设置置263.10.开始安安装2883.11.安装完完成2993.11.1.警警告信息息：2994.常见错错误3114.1.初初始化数数据库错错误：3314.2.未未能连接接到 HHostt Moonittor332模板发布部门：技术研发管理部过程与质量管理部第44页/共44页模板编号：SD-TEM-01-2013111. 基础环境1.1

4、. 软件环境本文将介绍绍Cenntoss7.44 离线线安装CCDH和和Clooudeera Mannageer过程程，软件件版本如如下：NO.软件名称版本1.操作系统Centoos7.4 664 位位2.JDKjdk-88u1551-llinuux-xx643.Cloudder Mannageer5.13.14.CDH5.13.15.数据库Mysqll5.776.JDBCmysqll-coonneectoor-jjavaa-5.1.443.jjar1.2. 配置规划本次安装共共5台服服务器，服服务器配配置及用用途如下下：NO.机器名称内网IP配置用途1.node1168172.116.33.

5、16688C/322Gb/1TBB主，CM，MysqlDB2.node1169172.116.33.16698C/322Gb/1TBB从3.node1170172.116.33.17708C/322Gb/1TBB从4.node1171172.116.33.17718C/322Gb/1TBB从5.node1172172.116.33.17728C/322Gb/1TBB从1.3. 所需要的软软件资源源1) JDK环境境：JDK版本本：1.8.00_1551jdk-88u1551-llinuux-xx64.rpmm下载地址：2) CM包：CM版本：5.113.1cloudderaa-maanagge

6、r-cenntoss7-ccm5.13.1_xx86_64.tarr.gzz下载地址：3) CDH包CDH版本本：5.13.1，CDH-55.133.1-1.ccdh55.133.1.p0.2-eel7.parrcell； CDH-55.133.1-1.ccdh55.133.1.p0.2-eel7.parrcell.shha1； maniffestt.jsson下载地址：4) JDBC连连接jaar包：jar包版版本：55.1.43，mysqll-coonneectoor-jjavaa-5.1.43.jjar下载地址：1.4. 修改机器名名（所有有节点）1) 修改机器名名称# hosstnaa

7、mecctl sett-hoostnnamee xxxx/设置机机器名#hosttnamme / 查看看本机名名这种方式，在Centos7中可以永久性改变主机名称。2) 每个节点机机器，都都要配置置hossts# vi /ettc/hhostts内容都改为为：127.00.0.1 loccalhhostt /建议保保留此行行172.116.33.1668 nnodee1688172.116.33.1669 nnodee1699172.116.33.1770 nnodee1700172.116.33.1771 nnodee1711172.116.33.1772 nnodee17221.5. 设置

8、防火墙墙（所有有节点）注：为了简简便，可可以先关关闭防所所有节点点火墙，安安装完成成后，再再按照下下面步骤骤设置。防火墙常用用命令：# firrewaall-cmdd -staate（查查询防火火墙状态态）#systtemcctl stoop ffireewallld.serrvicce（关关闭防火火墙）#systtemcctl staart firrewaalldd.seerviice（开开启防火火墙）#systtemcctl dissablle ffireewallld.serrvicce（禁禁止fiirewwalll开机启启动）设置防火墙墙策略，在在所有节节点执行行下面脚脚本（执执行前要

9、要启动防防火墙）：/集群机机器间可可以相互互访问firewwalll-cmmd -peermaanennt -addd-rrichh-ruule=ruule fammilyy=iipv44 ssourrce adddresss=1722.166.3.1688 pportt prrotoocoll=ttcp poort=0-655535 acccepptfirewwalll-cmmd -peermaanennt -addd-rrichh-ruule=ruule fammilyy=iipv44 ssourrce adddresss=1722.166.3.1699 pportt prrotoocol

10、l=ttcp poort=0-655535 acccepptfirewwalll-cmmd -peermaanennt -addd-rrichh-ruule=ruule fammilyy=iipv44 ssourrce adddresss=1722.166.3.1700 pportt prrotoocoll=ttcp poort=0-655535 acccepptfirewwalll-cmmd -peermaanennt -addd-rrichh-ruule=ruule fammilyy=iipv44 ssourrce adddresss=1722.166.3.1711 pportt prro

11、toocoll=ttcp poort=0-655535 acccepptfirewwalll-cmmd -peermaanennt -addd-rrichh-ruule=ruule fammilyy=iipv44 ssourrce adddresss=1722.166.3.1722 pportt prrotoocoll=ttcp poort=0-655535 accceppt /设置可可以访问问的端口口firewwalll-cmmd -peermaanennt -addd-pportt=0-655535/tcppfirewwalll-cmmd -reeloaad注意： 需需要在所所有的节节点上

12、执执行，因因为涉及及到的端端口太多多了，临临时开放放所有端端口是为为了安装装起来方方便，安安装完毕毕后可以以根据需需要设置置防火墙墙策略，保保证集群群安全。1.6. 配置免密码码登录SSSH将子节点设设置为从从主节点点sshh无密码码登陆（主节点点访问从从节点需需要无密密码互通通，否则则后面会会出现问问题）在主节点上上执行：#cd /进进入到 根目录录# sshh-keeygeen -t rrsa 一路回车车，生成成无密码码的密钥钥对。把公钥拷贝贝至noode1169服服务器上上：# scpp /rroott/.sssh/id_rsaa.puub rroottnoode1169: /输入入no

13、dde1669机器器上rooot用用户密码码拷备成成功登录到noode1169服服务器上上：然后在noode1169服服务器上上，把公公钥的内内容追加加到auuthoorizzed_keyys文件件末尾（这这个文件件也在隐隐藏文件件夹.sssh下下，如果果没有可可以新建）：# catt idd_rssa.ppub /.sshh/auuthoorizzed_keyys如果提示下下面信息息，则需需要创建建./sssh目目录：-bashh: /rooot/.sshh/auuthoorizzed_keyys: No succh dirrecttoryy/创建/.sssh目录录,再追追加公钥钥内容# m

14、kddir /.sshh# catt idd_rssa.ppub /.sshh/auuthoorizzed_keyys并设置auuthoorizzed_keyys的访访问权限限：#chmood 6600 /.sshh/auuthoorizzed_keyys测试：在nnodee1688点上执执行sssh nnodee1699，正常常情况下下，不需需要密码码就能直直接登陆陆进去了了。在nodee1688节点出出现下面面表示成成功登录录nodde1669节点点：以同样的方方式将公公钥拷贝贝至其他他节点服服务器上上。 1.7. 关闭SELLINUUX（所所有节点点）关闭linnux SELLINUUX

15、安全全内核# settenfforcce 00 （临临时生效效）修改 /eetc/sellinuux/cconffig 下的 SELLINUUX=ddisaableed （重重启后永永久生效效）# vi /ettc/sseliinuxx/coonfiig内容增加：SELINNUX=dissablled重启后生效效：# rebboott查看SELLINUUX是否否关闭：#sesttatuus（在Cenntoss7中遇到到SELLINUUX无法法关闭的的问题，重重新启动动机器恢恢复正常常）1.8. 修改Linnux内内核参数数（所有有节点）为避免安装装过程中中出现的的异常问问题，首首先调整整Lin

16、nux内内核参数数。1) 设置s，控控制换出出运行时时内存的的相对权权重，Clooudeera 建议将将 s 设置为为 100：/查看ss# catt /pprocc/syys/vvm/ss/永久性性修改，执执行下面面两条命命令# syssctll -ww vmm.s# echho vvm.ss = 10 /ettc/ssyscctl.connf2) 关闭透明大大页面：自CenttOS66版本开开始引入入了Trranssparrentt Huuge Pagges(THPP)，从从CenntOSS7版本本开始，该该特性默默认就会会启用。尽尽管THHP的本本意是为为提升内内存的性性能，不不过某些些

17、数据库库厂商还还是建议议直接关关闭THHP，否否则可能能会导致致性能出出现下降降。首先查看透透明大页页是否启启用，alwwayss nneveer表示示已启用用，allwayys nevver表示已已禁用：# catt /ssys/kerrnell/mmm/trranssparrentt_huugeppagee/deefraagalwaays maadviise nevver# catt /ssys/kerrnell/mmm/trranssparrentt_huugeppagee/ennablledalwaays maadviise nevver以上状态就就说明是是启用的的。临时关闭（重启机器

18、会变回默认开启状态）：# echho nneveer /ssys/kerrnell/mmm/trranssparrentt_huugeppagee/deefraag#echoo neeverr /syys/kkernnel/mm/traansppareent_huggepaage/enaableed永久关闭：/编辑/etcc/rcc.d/rc.loccal# vi /ettc/rrc.dd/rcc.loocall/在文件件后添加加下面内内容:if teest -f /syys/kkernnel/mm/traansppareent_huggepaage/enaableed; theenecho

19、nevver /syss/keerneel/mmm/ttrannspaarennt_hhugeepagge/eenabbleddfiif teest -f /syys/kkernnel/mm/traansppareent_huggepaage/deffragg; tthennecho nevver /syss/keerneel/mmm/ttrannspaarennt_hhugeepagge/ddefrragfi保存退出，然然后赋予予rc.loccal文文件执行行权限：#chmood +x /etcc/rcc.d/rc.loccal重启系统，以以后再检检查THHP状态态，显示示状态被被禁用了了。

20、3) 修改文件句句柄数：修改系统文文件句柄柄数限制制：/查看文文件句柄柄数，显显示10024，显显然太小小#ulimmit -n1024/修改限限制#vi /etcc/seecurrityy/liimitts.cconff /在文件件后加入入下面内内容：* sofft nno* harrd nno修改后需要要重启机机器。1.9. 其他安装与与配置（所所有节点点）为避免安装装过程中中出现异异常问题题，安装装相关依依赖包：# yumm -y insstalll ppsmiisc MySSQL-pytthonn att bcc biind-libbs bbindd-uttilss cuups-cli

21、ientt cuups-libbs ccyruus-ssasll-gsssappi ccyruus-ssasll-pllainn edd fuuse fusse-llibss htttpdd htttpdd-tooolss keeyuttilss-liibs-devvel krbb5-ddeveel llibccom_errr-deevell liibseelinnux-devvel libbseppol-devvel libbverrto-devvel maiilcaap nnoarrch maiilx modd_sssl oopennssll-deevell pccre-devvel po

22、sstgrresqql-llibss pyythoon-ppsyccopgg2 rredhhat-lsbb-coore reddhatt-lssb-ssubmmod-seccuriity x886_664 sspaxx tiime zliib-ddeveel#yum insstalll -y ppythhon-lxmml#yum insstalll kkrb55-deevell cyyruss-saasl-gsssapii cyyruss-saasl-devve llibxxml22-deevell liibxsslt-devvel myssql myssql-devvel opeenldda

23、p-devvel pytthonn-deevell pyythoon-ssimpplejjsonn sqqlitte-ddeveel# chmmod +x /ettc/rrc.dd/rcc.loocall# yumm -yy innstaall rpccbinnd# sysstemmctll sttartt rppcbiind# echho sysstemmctll sttartt rppcbiind /eetc/rc.d/rrc.llocaal1.10. 配置NTPP服务集群中所有有主机必必须保持持时间同同步，如如果时间间相差较较大会引引起各种种问题。 具体建建设过程程如下：所有节点安安装相

24、关关组件：# yumminsstalllntppnttpdaate-yyNTP服务务端（主主节点）：1) 查找时间同同步服务务器：打开网址，内内容如下下：2) 编辑 /eetc/ntpp.coonf：# vi /ettc/nntp.connf/在文件件中输入入上面网网页内容容：serveer 00.assia.poool.nntp.orggserveer 11.assia.poool.nntp.orggserveer 22.assia.poool.nntp.orggserveer 33.assia.poool.nntp.orgg3) 启动ntpp服务：# sysstemmctll sttart

25、t ntppd4) 配置开机启启动：# sysstemmctllenaableenttpd.serrvicce 注意：如果果ntppd 开开机启动动失效，有有可能是是因为安安装了cchroonydd并且且是开机机自启状状态，所所以导致致ntppd开机机自启失失败。# 查看chrronyyd设置置状态#systtemcctl staatuss chhronnyd显示如下：以面表明，chronyd显示为开机启动状态。将chroonydd设为禁禁用状态态：#systtemcctl dissablle cchroonydd.seerviice此时，NTTP的服服务开机机自启动动完成！5) 检查是否设设

26、置成功功：# ntppq-p/更新时时间#timeedattecttlNTP客户户端（所有有从节点点）：6) 远程客户端端时间同同步测试试# datte#ntpddatee 1772.116.33.1668172.116.33.1668是NNTP服服务端IIP，显显示如下下信息，测测试成功功：7) 客户端设置置计划任任务，每每30分钟钟同步时时间#cronntabb -ee /加入内内容：0-59/30 * * * * /usrr/sbbin/ntppdatte 1172.16.3.1168 & /sbbin/hwcclocck -w8) 设置定时任任务开机机启动/设置开开机启动动#systt

27、emcctl enaablee crrondd.seerviice/查看状状态#systtemcctl staatuss crrondd1.11. 安装oraaclee JDDK1.8（所有有节点）下载rpmm 安装装包jddk-88u1551-llinuux-xx64.rpmmCentOOS系统统一般自自带OppenJJdk，需需要卸载载掉自带带的OppenJJdk，使使用# rpmm -qqa | grrep javva查询javva相关关的包，使使用# rpmm -ee nnodeeps +包名名强制卸载掉掉，下面面安装oorallce JDKK#rpm -ivvh jjdk-8u115

28、1-linnux-x644.rppm配置JAVVA_HHOMEE环境变变量：修改/ettc/pproffilee文件配置置环境变变量，执执行命令令：#vi /etcc/prrofiile 在proffilee文件最最后，输输入下面面内容，保保存并退退出。exporrt JJAVAA_HOOME=/ussr/jjavaa/jddk1.8.00_1551exporrt PPATHH=$PPATHH:$JJAVAA_HOOME/binn 执行下面命命令，让让配置生生效#sourrce /ettc/pproffilee /使使修改立立即生效效#echoo $PPATHH /查查看PAATH值值#ech

29、oo $JJAVAA_HOOME /查看看JAVVA_HHOMEE值在Centtos77中修改改/ettc/pproffilee文件配置置环境变变量，机机器启动动后有时时不生效效，可以以修改/etcc/ bbashhrc文文件配置置环境变变量：#vi/eetc/basshrcc/在文件件最后加加入：exporrt JJAVAA_HOOME=/ussr/jjavaa/jddk1.8.00_1551exporrt PPATHH=$PPATHH:$JJAVAA_HOOME/binn/使修改改立即生生效# souurcee /eetc/basshrcc/查看JJAVAA_HOOME值值#echoo $

30、JJAVAA_HOOME1.12. Mysqll安装（主主节点）到官网选择择对应安安装包：1) 下载安装包包#wgett 2) 解压安装包包# tarr -xxvf myssql-5.77.188-1.el77.x886_664.rrpm-bunndlee.taar/解压后后文件列列表：mysqll-coommuunitty-eembeeddeed-ddeveel-55.7.18-1.eel7.x866_644.rppmmysqll-coommuunitty-ddeveel-55.7.18-1.eel7.x866_644.rppmmysqll-coommuunitty-cclieent-5.7

31、7.188-1.el77.x886_664.rrpmmysqll-coommuunitty-ccommmon-5.77.188-1.el77.x886_664.rrpmmysqll-coommuunitty-eembeeddeed-55.7.18-1.eel7.x866_644.rppmmysqll-coommuunitty-eembeeddeed-ccomppat-5.77.188-1.el77.x886_664.rrpmmysqll-coommuunitty-llibss-5.7.118-11.ell7.xx86_64.rpmmmysqll-coommuunitty-sservver-mi

32、nnimaal-55.7.18-1.eel7.x866_644.rppmmysqll-coommuunitty-ttestt-5.7.118-11.ell7.xx86_64.rpmmmysqll-coommuunitty-mminiimall-deebugginffo-55.7.18-1.eel7.x866_644.rppmmysqll-coommuunitty-llibss-coompaat-55.7.18-1.eel7.x866_644.rppm3) 按次序安装装按commmonliibscllienntseerveer的顺顺序安装装：# rpmm -iivh myssql-commmun

33、nityy-coommoon-55.7.18-1.eel7.x866_644.rppm#rpm -ivvh mmysqql-ccommmuniity-libbs-55.7.18-1.eel7.x866_644.rppm# rpmm -iivh myssql-commmunnityy-clliennt-55.7.18-1.eel7.x866_644.rppm#rpm -ivvh mmysqql-ccommmuniity-serrverr-5.7.118-11.ell7.xx86_64.rpmm#rpm -ivvh mmysqql-ccommmuniity-devvel-5.77.188-1.el

34、77.x886_664.rrpm/安装下下面包，否否则Huue安装装报连接接错误# rpmm -iivhmmysqql-ccommmuniity-libbs-ccomppat-5.77.188-1.el77.x886_664.rrpm4) 启动数据库库# sysstemmctll sttartt myysqlld 查看状态： # sysstemmctll sttatuus mmysqqld5) 修改MySSQL初初始密码码1、先修改改配置文文件/eetc/ff令MyySQLL跳过登登录时的的权限检检验，在在myysqlld下下加入一一行：skip-graant-tabbless2、重启MMyS

35、QQL#servvicee myysqlld rresttartt3、免密码码登录MMySQQL。#mysqql4、myssql客客户端执执行如下下命令，修修改rooot密密码mysqll uuse myssql;mysqll UUPDAATE useer SSET autthennticcatiion_strringg = passswoord(yoour-passswoord) WWHERRE hhostt = loocallhosst ANDD usser = rooot;mysqll sseleect hosst,uuserr,auutheentiicattionn_sttrinng,

36、 paasswwordd_exxpirred froom uuserr; mysqll uupdaate useer sset passswoord_exppireed=N wheere passswoord_exppireed=Y /密密码不过过期mysqll uupdaate useer sset hosst=% wheere useer=rooot andd hoost=loocallhosst; /远程可可访问mysqll fflussh pprivvileegess; /刷新新mysqll eexitt;/退出出5、修改配配置文件件/ettc/mmy.ccnf删删除此前前新增那那一行

37、sskipp-grrantt-taablees，并并重启MMySQQL(这一步步非常重重要，不不执行可可能导致致严重的的安全问问题)#servvicee myysqlld rresttartt /重启 Myssql2. 安装CM2.1. 传包，解包包在主节点上上下载相关关软件包包，这里里将软件件包下载载到/ddataa/cddh/目录下下。#cd /datta/ccdh下载MyssqlJJDBCC包：#wgett 下载CM：#wgett5/cclouuderra-mmanaagerr-ceentoos7-cm55.133.1_x866_644.taar.ggz下载CDHH：#wgett #wg

38、ett .ssha11#wgett 将CM解压压到/oopt/目录：#tar -zxxvf clooudeera-mannageer-ccenttos77-cmm5.113.11_x886_664.ttar.gz -C /oppt/#ls /optt/cloudderaa ccm-55.133.12.2. 创建数据库库在主节点上上：# myssql -h1127.0.00.1 -urroott -pp/加参数数-h1127.0.00.1 指定本本机方式式，否则则可能不不允许执执行grranttEnterr paasswwordd: 输入入数据库库密码/在MaariaaDB (nnonee)命令

39、状状态输入入下面脚脚本：creatte ddataabasse hhivee DEEFAUULT CHAARSEET uutf88 COOLLAATE utff8_ggeneerall_cii;creatte ddataabasse aamonn DEEFAUULT CHAARSEET uutf88 COOLLAATE utff8_ggeneerall_cii;creatte ddataabasse hhue DEFFAULLT CCHARRSETT uttf8 COLLLATTE uutf88_geenerral_ci;creatte ddataabasse mmoniitorr DEEFA

40、UULT CHAARSEET uutf88 COOLLAATE utff8_ggeneerall_cii;creatte ddataabasse oooziie DDEFAAULTT CHHARSSET utff8 CCOLLLATEE uttf8_genneraal_cci;grantt alll pprivvileegess onn *.* tto rroottloocallhosst iidenntiffiedd byy rroott wwithh grrantt opptioon;grantt alll oon *.* to rooot% Ideentiifieed bby rooot

41、;flushh prriviilegges;exit;/复制MMysqqlJDDBC包包到/oopt/cm-5.113.11/shharee/cmmf/llib/目录#cp mmysqql-cconnnecttor-javva-55.1.43-binn.jaar/oopt/cm-5.113.11/shharee/cmmf/llib/初始化化CM，执执行下面面脚本#/optt/cmm-5.13.1/ssharre/ccmf/schhemaa/sccm_pprepparee_daatabbasee.shh myysqll cmm -hhnodde1668 -urooot -prroott -scm

42、m-hoost nodde1668 sscm scmm sccm/如果出出现下面面错误：java.sqll.SQQLExxcepptioon: Acccesss deenieed ffor useer roootloocallhosst (ussingg paasswwordd: YYES)/解决办办法：在/etcc/hoostss 文件件中，加加上127.00.0.1 llocaalhoost.nodde1668主节点/eetc/hossts内内容：脚本/sccm_pprepparee_daatabbasee.shh执行成成功界面面：2.3. 创建用户在所有节点点上执行行：# useerad

43、dd -syysteem -hoome=/oppt/ccm-55.133.1/runn/clloudderaa-sccm-sservver -sheell=/biin/ffalsse -coommeent Clloudderaa SCCM UUserr cclouuderra-sscm2.4. 制作本地YYUM源源在主节点上上：/进入软软件包目目录#cd /datta/ccdh/拷贝三三个文件件到/oopt/clooudeera/parrcell-reepo/目录#cp CDHH-5.13.1-11.cddh5.13.1.pp0.22-ell7.pparccel CDHH-5.13.1-11.

44、cddh5.13.1.pp0.22-ell7.pparccel.shaa1 mmaniifesst.jjsonn /oopt/clooudeera/parrcell-reepo/进入/optt/clloudderaa/paarceel-rrepoo/目录录#cd /optt/clloudderaa/paarceel-rrepoo/修改文文件名#mv CCDH-5.113.11-1.cdhh5.113.11.p00.2-el77.paarceel.ssha11 CDDH-55.133.1-1.ccdh55.133.1.p0.2-eel7.parrcell.shha此时/oppt/cclouuderra/pparccel-reppo/目目录下文文