云计算大数据实验室建设解决方案方法20160527.doc

《云计算大数据实验室建设解决方案方法20160527.doc》由会员分享，可在线阅读，更多相关《云计算大数据实验室建设解决方案方法20160527.doc（44页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、-_易霖博易霖博 云计算大数据云计算大数据 实验室建设解决方案实验室建设解决方案北京易霖博信息技术有限公司北京易霖博信息技术有限公司20162016 年年 5 5 月月-_目录概述.4第一章、云计算与大数据的发展趋势.41.1.云计算与大数据 .41.2.云计算与大数据的关系.51.2.1.当大数据遭遇云计算.51.2.2.云计算环境作为大数据处理平台.61.3.发展趋势：大数据逐步“云”化.7第二章、云计算大数据人才现状分析.92.1.我国云计算大数据人才紧缺.92.2.云计算大数据人才培养情况.102.3.云计算大数据人才培养面临的问题.102.3.1.高职实验室设备落后，教学资源无法合理

2、分配.112.3.2.教学资源分散，共享程度低.112.3.3.对云计算大数据技术认识不够，无法有效运用.11第三章、云计算大数据人才培养需求分析.123.1.云计算大数据岗位需求.123.2.云计算大数据人才培养策略.133.2.1.根据就业前景,加大人才培养力度.133.2.2.德才兼修,开拓新型教学方式.133.2.3.选择以工作过程为向导的教材.133.3.云计算大数据带给高职实验室建设的前景.143.3.1.建立统一信息平台来管理海量教学资源.143.3.2.云计算降低维护和运营成本.143.3.3.整合教学资源，加强资源共享，提高教学质量.153.3.4.促进教师和学生的信息交互，

3、进一步促进教学相长.153.3.5.借助云计算大数据技术可以提升科研实力.15第四章、云计算大数据实验室建设原则.164.1.方便扩展 .16-_4.2.自身安全 .164.3.业务高可用 .164.4.统一管理与自动化.174.5.开放接口 .174.6.丰富、清晰的培训教材.174.7.师资培训 新技术交流.174.8.技术服务保障 .18第五章、云计算大数据实验室建设目标.195.1.建设目标 .195.1.1.培养学生云计算大数据职业技能.195.1.2.提供独立的用户实验环境.195.1.3.提高系统资源的利用率.195.1.4.系统具有良好扩展性.205.2.建设内容 .205.2

4、.1.云计算大数据实验平台部署.205.2.2.云计算大数据实验环境学习及搭建.20第六章、云计算大数据实验室解决方案.226.1.云计算大数据实验室整体架构.226.2.云计算大数据实验室物理布局.236.3.云计算大数据实验平台部署.246.3.1.实验平台基础设施.256.4.云计算大数据实验环境学习及搭建.286.4.1.云计算基本架构安装和部署.286.4.2.云计算中间件环境部署.296.4.3.基于分布式文件系统的大数据部署、挖掘和分析.306.4.4.云计算应用层安装及使用.316.4.5.云安全加固和防护.31第七章、云计算大数据实验室课程体系.33第八章、云计算大数据实验室

5、方案优势.358.1.Web 形式开展实验，实现无所不在的网络访问.35-_8.2.基于资源的负载均衡，实现实验资源弹性分配.358.3.增量存储技术，实现用户实验环境的独立性和延续性.368.4.项目驱动式实验设计，培养学生的综合云能力.368.5.资源的开放性及复用性，可支持科研等其他用途.368.6.完善的课程体系 丰富的教学内容.36第九章、云计算大数据实验室校企合作.389.1.课程与教材服务 .389.2.师资培训服务 .399.2.1.双师型教师培养.399.2.2.企业讲师计划.399.3.学生实习就业服务.39第十章、云计算大数据实验室配置清单.41第十一章、北京易霖博信息技

6、术有限公司.42-_概述概述云计算大数据技术是当今信息技术发展的一个主要方向，云计算大数据技术一经提出就得到人们的追捧，其应用领域也得到了快速的发展，已经在商业、政府、金融、教育等领域得到广泛应用。我国高职院校需要建设专业的云计算大数据实验室，尤其是要满足当下学生需求的实训系统，是一个比较重要和紧迫的工作。根据云计算与大数据行业对人才培养的需要，易霖博推出了一套面向高职院校的云计算大数据实验室建设解决方案，实验内容的设计来源于社会需求调研以及云计算业界专业人士的建议，实验内容涵盖的技术知识点能够与目前云计算大数据人才的技能需求贴合，实验设计以真实的工作场景为背景，培养学生的综合能力，增强学生对

7、真实工作环境的体验感，适应社会人才发展的需要。第一章、第一章、 云计算与大数据的发展趋势云计算与大数据的发展趋势1.1.1.1.云计算与大数据云计算与大数据云计算和大数据是一个硬币的两面，云计算是大数据的 IT 基础，而大数据是云计算的一个杀手级应用，云计算是大数据成长的驱动力，而另一方面，由于数据越来越多、越来越复杂、越来越实时，这就更加需要云计算去处理，所以二者之间是相辅相成的。30 年前，存储 1TB 也就是约 1000GB 数据的成本大约是 16 亿美元，如今存储到云上只需不到 100 美元。但存储下来的数据，如果不以云计算进行挖掘和分析，就只是僵死的数据，没有太大价值。目前，云计算已

8、经普及并成为 IT 行业主流技术，其实质是在计算量越来越大、数据越来越多、越来越动态、越来越实时的需求背景下被催生出来的一种基础架构和商业模式。个人用户将文档、照片、视频、游戏存档记录上传至“云”中永久保存，企业客户根据自身需求，可以搭建自己的“私有云” ，或托管、或租用“公有云”上的 IT 资源与服务，这些都已不是新鲜事。可以说，云是一棵挂满了大数据的苹果树。大数据的出现，正在引发全球范围内深刻的技术与商业变革。在技术上，大数据使从数据当中提取信息的常规方式发生了变化。在技术领域，以往更多是依靠模型的方法，现在我们可以借用规模庞大的数据，用基于统计的方法，有望使语音识别、机器翻译这些技术领域

9、在大数据时代取得新的进展。在搜索引擎和在线广告中发挥重要作用的机器学习，-_被认为是大数据发挥真正价值的领域在海量的数据中统计分析出人的行为、习惯等方式，计算机可以更好地学习模拟人类智能。随着包括语音、视觉、手势和多点触控等在内的自然用户界面越来越普及，计算系统正在具备与人类相仿的感知能力，其看见、听懂和理解人类用户的能力不断提高。这种计算系统不断增强的感知能力，与大数据以及机器学习领域的进展相结合，已使得目前的计算系统开始能够理解人类用户的意图和语境。 “这使得计算机能够真正帮助我们，甚至代表我们去工作” 。以往，移动运营商和互联网服务运营商等拥有着大量的用户行为习惯的各种数据，在IT 产业

10、链中具有举足轻重的地位。而在大数据时代，移动运营商如果不能挖掘出数据的价值，可能彻彻底底被管道化。运营商和更懂用户需求的第三方开发者互利共赢的模式，已取得一定共识。1.2.1.2.云计算与大数据的关系云计算与大数据的关系本质上，云计算与大数据的关系是静与动的关系；云计算强调的是计算，这是动的概念；而数据则是计算的对象，是静的概念。如果结合实际的应用，前者强调的是计算能力，或者看重的存储能力；但是这样说，并不意味着两个概念就如此泾渭分明。大数据需要处理大数据的能力（数据获取、清洁、转换、统计等能力） ，其实就是强大的计算能力；另一方面，云计算的动也是相对而言，比如基础设施即服务中的存储设备提供的

11、主要是数据存储能力，所以可谓是动中有静。如果数据是财富，那么大数据就是宝藏，而云计算就是挖掘和利用宝藏的利器！1.2.1.1.2.1.当大数据遭遇云计算当大数据遭遇云计算从技术上看,大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然-_无法用单台的计算机进行处理,必须采用分布式计算架构。它的特色在于对海量数据的挖掘,但它必须依托云计算的分布式处理、分布式数据库、云存储和虚拟化技术。云计算为什么能盛行呢?在互联网领域应用系统的构建：客户群体是不确定的、系统规模不确定、系统投资不固定、业务应用有很清晰的并行分割特征、数据仓库系统的构建、数据仓库规模可估算、数据仓库的系统投资与业务分析

12、的价值和回报相关、商业智能应用属于整体应用、Saas 模式构建数据仓库系统。大数据管理，分布式进行文件系统，如 Hadoop、Mapreduce 数据分割与访问执行;同时SQL 支持，以 Hive+HADOOP 为代表的 SQL 界面支持，在大数据技术上用云计算构建下一代数据仓库成为热门话题。从系统需求来看，大数据的架构对系统提出了新的挑战：1、集成度更高。一个标准机箱最大限度完成特定任务。2、配置更合理、速度更快。存储、控制器、I/O 通道、内存、CPU、网络均衡设计，针对数据仓库访问最优设计，比传统类似平台高出一个数量级以上。3、整体能耗更低。同等计算任务，能耗最低。4、系统更加稳定可靠。

13、能够消除各种单点故障环节，统一一个部件、器件的品质和标准。5、管理维护费用低。数据藏的常规管理全部集成。6、可规划和预见的系统扩容、升级路线图。1.2.2.1.2.2.云计算环境作为大数据处理平台云计算环境作为大数据处理平台1.2.2.1.1.2.2.1. 云计算环境中基本计算单元的分化云计算环境中基本计算单元的分化企业云计算平台上虽然有多个并行计算的 CPU，但并没有创造出具有超强数据处理能力的超级 CPU，因此云计算平台需要的是有并行运算能力的软件系统。同时，当所有用户的数据全部放在云端时，虽然存储容量可以很方便地扩充，但面对大量用户同时发起的海量数据处理请求，简单的数据处理逻辑已经无法满

14、足需要。可以看到，国内有相当多的电商企业，用小型机和 Oracle 扛了好几年，并请了全国最牛的 Oracle 的专家不停优化他的 Oracle 和小型机，初期发展可能很快，但是后来由于数据量激增，业务开始受到严重影响，最典型的例子无疑是京东商城前段时间发生的大规模访问请求宕机事件，因此他们开始逐渐放弃了 Oracle 或者 MS-SQL，并逐渐转向 MySQL+X86-_的分布式架构。目前的基本计算单元常常是普通的 X86 服务器，它们组成了一个大的云，而未来的云计算单元里有可能有存储单元、计算单元、协调单元，总体的效率会更高。1.2.2.2.1.2.2.2. 对系统稳定性的需求对系统稳定性

15、的需求在应对大规模访问的时候有一些系统稳定性的追求，来自很多方面，来自网络稳定性、数据库稳定性。对系统而言，需要把握一个大原则，需要消除任何单点故障。不光是网络上单点故障，还有来自你呼叫中心里的单点故障，只要有单点故障一定要消除掉。因为对于电商行业而言，每一秒都是钱，电子商务业务如果宕机一个小时，损失多少是可以算出来的，电商行业需要非常全面的技术系统监控报警系统。有时候你会发现你如果通过技术系统的监控去推导出你的技术发生问题已经晚了。1.3.1.3.发展趋势：大数据逐步发展趋势：大数据逐步“云云”化化纵观历史，过去的数据中心无论应用层次还是规模大小，都仅仅是停留在过去有限的基础架构之上，采用的

16、是传统精简指令集计算机和传统大型机，各个基础架构之间都相互孤立，没有形成一个统一的有机整体。在过去的数据中心里面，各种资源都没有得到有效充分地利用。而且传统数据中心资源配置和部署大多采用人工方式，没有相应的平台支持，使大量人力资源耗费在繁重的重复性工作上，缺少自助服务和自动部署能力，既耗费时间和成本，又严重影响工作效率。而当今越来越流行的云计算、虚拟化和云存储等新 IT 模式的出现，又再一次说明了过去那种孤立、缺乏有机整合的数据中心资源并没有得到有效利用，并不能满足当前多样、高效和海量的业务应用需求。在云计算时代背景下，数据中心需要向集中大规模共享平台推进，并且，数据中心要能实现实时动态扩容，

17、实现自助和自动部署服务。从中长期来看，数据中心需要逐渐过渡到“云基础架构为主流企业所采用，专有架构为关键应用所采用”阶段，并最终实现“强壮的云架构为所有负载所采用” ，无论大型机还是 x86 都融入到云端，实现软硬件资源的高度整合。数据中心逐步过渡到“云” ，这既包括私有云又包括公有云。私有云，就是对企业现有的数据中心进行改造和架构调整 ，通过云计算对资源进行自动调度和分配，实现一个自动部署、-_自动管理和自动运维的数据中心架构。而公有云则是由服务商建立 IT 基础架构，并向外部用户提供商业服务，而用户可以在不拥有云计算资源的条件下通过网络访问这些服务。与私有云相比，公有云的所有应用程序、服务

18、和数据都存放在云端，用户数据也并不存放在企业内部数据中心。正所谓“梅虽逊雪三分白，雪却输梅一段香” ，相比之下，私有云会比公有云在数据安全性方面有更好的表现，但公有云却会比私有云有更“强壮的云架构” 。因此，从数据中心演进的角度来看，讨论何种“云”并无实质意义，我们更应该重视的是数据中心在未来发展中所扮演的角色和出现的历史性变革。-_第二章、第二章、 云计算大数据人才现状分析云计算大数据人才现状分析2.1.2.1.我国云计算大数据人才紧缺我国云计算大数据人才紧缺经过多年的技术发展和经验积累，云计算行业已经进入一个相对成熟的阶段。作为新一代信息技术变革、IT 应用方式变革的重要支柱，云计算已经成

19、为当前信息技术产业发展和应用创新的热点。在国内，大量的企业单位正逐步将自己的 IT 系统从传统架构向“云”架构迁移，越来越多的用户正在享受“云”服务带来的便利。云计算更多的是在描述一种技术框架和服务交付模式，与此同时大数据则是直接向客户提供业务发展的推动力和生产力。 大数据出现以后，云计算并没有因此落幕，反而大有用武之地。作为云计算核心技术的分布式布署和分布式计算也是大数据系统所需要的关键技术，正是因为这一层关系，大数据给云计算带来了一个美丽的春天。随之而来的是 IT 基础设施和应用模式的革新，这对企业单位的信息部门来说，既是提升自我价值的机会，也是严峻的挑战。但是，国内云计算和大数据相关技术

20、人才的匮乏已是业内公认的事实。根据 IDC 的调查报告，从 2012 年至 2015 年的 3 年之间里，云计算大数据的相关工作需求将出现 26%的年增长率，超过 1/4 的增长率再次证明了企业对云计算大数据人才的巨大需求。IDC 的预测还表明，2012 年有约 170 万的云计算大数据相关岗位出现真空，而这方面的求职者也都缺乏云计算大数据方面的实践经验，并且不具备完善的培训机制；值得警醒的是，到 2015 年，这个数字从 170 万上升到 700 万，云计算大数据产业面临着更大的人才缺口。 -_2.2.2.2.云计算大数据人才培养情况云计算大数据人才培养情况在过去一段时间内，为了满足信息技术

21、产业的发展，国内多数高校、职业院校开设了计算机通信相关专业，但毕业生的就业前景却日渐黯淡。究其原因，超过 1/4 的毕业生反馈在校学习的课程知识较为陈旧，面对云计算、大数据、移动互联网、数据挖掘等新型技术的兴起，自己所掌握的知识、技能和实践经验均无法满足行业需求。我国能否在云计算和大数据时代这一轮新的竞争中取得先机，人才是关键。面对如此巨大的云计算和大数据人才需求缺口，以中国现有的教育水平尤其是教育机构转变和改进教学方向和方法的效率来看，很难在短时间内满足市场需求。就目前收到的汇总信息来看，已经开设有云计算和大数据相关专业和方向的普通高校和高职院校还不到总数的 10%，已经开始相关专业和方向的

22、高校在专业建设、课程设计方面还没有统一标准，关于这个专业“怎么教？教什么？”是一个比较广泛存在的问题，困惑着这些已经开设或将要开设这个专业的学校老师。目前各学校基本上都是按照各自的理解在开设课程和建立实习实训体系，目前在整个专业领域，甚至还没有关于云计算和大数据的国家级规划教材。在这些已经开设云计算和大数据专业和方向的高校中，目前专业建设最快的是高职院校、本科和研究生教育层次的专业和方向建设速度较慢。在研究生教育领域，目前已经有十余所高校已经开始招收主攻云计算和大数据方向的硕士和博士研究生，北京大学信息科学技术学院、东北大学软件学院、中国科技大学、中国科学院成都计算机应用研究所等高校单位均开设

23、了云计算和大数据相关的科研方向，培养这方面的高层次人才。中国科学院大学首批云计算方向的硕士和博士将于两年内毕业，这很可能是中国第一批云计算方向的研究生。在一个产业来说，高端科研和开发人才其实需求量并不大，市场需要的更多是基础开发、项目实施和维护人员，这就给我国的职教行业和偏重培养技能型人才的二本、三本院校提供了一个非常好的机会。2.3.2.3.云计算大数据人才培养面临的问题云计算大数据人才培养面临的问题对于高职院校的教学实践，其主要是指通过实验、实训进行实践教学，使学生在实践动手操作过程中学到相关的知识和技能，主要的教学方式包括实验、实训、课程设计和毕业设计等。高职院校的教学实践会根据社会对人

24、才需求的变化而变化，各院校早已开始进-_行教学实践改革，但是由于实践教学涉及众多的因素，例如资金、软件、硬件、实验室、产学研基地等方面，因此各高职院校面临着各种不同的实际情况，存在的问题主要有：2.3.1.2.3.1.高职实验室设备落后，教学资源无法合理分配高职实验室设备落后，教学资源无法合理分配近几年，虽然高职院校也有了较大的发展，但在高校资金方面还是无法和综合性大学相比。大多数的高职院校由于资金的不足，无法更换老化的设备，更新实验室资源，使得教学资源分配不均匀。2.3.2.2.3.2.教学资源分散，共享程度低教学资源分散，共享程度低随着高职院校对教学资源的重视，不断整合现有的教学资源，特别

25、是远程教育和网络教育的发展，使得课程资源在一定范围内得到了共享，而且各高校通过课程联合等方式达到了教学资源在高校之间再分配的效果，使得教学资源共享程度进一步扩大，但由于高校教学资源较多，而且比较分散，大部分软件和硬件资源仍然无法有效共享，使得高校教学资源重复投入，造成一定的浪费。2.3.3.2.3.3.对云计算大数据技术认识不够，无法有效运用对云计算大数据技术认识不够，无法有效运用现在虽然对云计算技术已经做了大量研究，相关的文章与书籍也同步而出，但由于云计算技术起源于企业界而非学术界，并且与教育相关的文档不多，尤其是将云计算技术运用到高校实践教学中少之甚少，使得大多数教师对云计算技术认识不够，

26、更谈不上将云计算技术在教学实践中广泛运用。-_第三章、第三章、 云计算大数据人才培养需求分析云计算大数据人才培养需求分析面对云计算与大数据风起云涌的产业浪潮，我们应该明确人才培养是提高产业竞争力、提升整体实力的关键措施；是我国在新的技术竞争格局下，能否取得先机，得到与国外一流企业相同的竞争机会，缩短差距，提升我国科技实力的重要推动力，应该得到全社会的广泛关注。建立专业的云计算和大数据实验室，尤其是要满足当下学生需求的实训系统，也是一个比较重要和紧迫的工作。3.1.3.1.云计算大数据岗位需求云计算大数据岗位需求云计算、虚拟化、大数据、数据挖掘，云安全等趋势的到来，诞生一批新的工作岗位，比如云计

27、算大数据运维工程师、云计算大数据咨询顾问、云计算大数据开发工程师、云计算大数据挖掘分析师等。接下来为大家介绍相关技能所体现的热门工作岗位及其职能：云计算大数据运维工程师云计算大数据运维工程师：在云计算大数据时代，可以在网络服务规划上，以最小成本提供更易维护的架构，以最小的成本快速扩容服务。对企业现有资金进行合理分配，让大集群去处理更多的业务，让小集群发挥最大的性能，企业重要数据进行分布式存储，保证企业应用和数据的安全。云计算大数据咨询顾问云计算大数据咨询顾问：任何业务部门和任何行业企业，都有 IT 系统在背后默默无闻地支撑着。在云计算大数据时代，业务面临的挑战和机遇也会给 IT 系统带来更多要

28、求。在这种情况下，IT 系统的规划部署，需要有云计算大数据咨询顾根据用户需求详细规划，是满足面向未来大数据分析、云计算服务应用的需要。云计算大数据开发工程师云计算大数据开发工程师：PaaS、SaaS、数据挖掘和分析、数据管理和监控、虚拟化、应用开发等等，都是开发工程师大展身手的好舞台。相应的，这些技术领域也对软件工程师的要求会更高，尤其是虚拟化和面向 BYOD、云计算、大数据、云安全等应用的开发和管理，都需要有更高深的技术支撑。云计算大数据数据挖掘工程师云计算大数据数据挖掘工程师：也可以叫做“数据挖掘专家” 。数据挖掘是通过分析每个数据，从大量数据中寻找其规律的技术。数据挖掘是一种决策支持过程

29、，它主要基于人工智能、机器学习、模式识别、统计学、数据库、可视化技术等，高度自动化地分析企业的数据，做出归纳性的推理，从中挖掘出潜在的模式，帮助决策者调整市场策略，减少风险，做出正确的决策。-_3.2.3.2.云计算大数据人才培养策略云计算大数据人才培养策略我们要从战略高度重视云计算大数据人才培养工作,加强对云计算大数据教育的力度,不断寻找云计算大数据教育的新途径。3.2.1.3.2.1.根据就业前景根据就业前景, ,加大人才培养力度加大人才培养力度云计算与大数据目前在业界持续火热，满世界几乎到处都在上演这哥俩的“二人转” ，整个行业出现了井喷式的快速发展，两个概念叠加起来后产生了超千亿级的市

30、场规模。我国能否在云计算和大数据时代这一轮新的竞争中取得先机，人才是关键。根据学生就业前景，建立专业的云计算大数据实验室，尤其是要满足当下学生需求的实训系统，是一个比较重要和紧迫的工作。易霖博根据云计算与大数据行业对人才培养的需要，开发了一款主要面向学校的云计算大数据专业的学生实训系统，系统整合了高性能计算和大数据的大部分功能，能够灵活地支持并行计算、虚拟化、大数据、云安全等系统的安装和维护调试实训。 3.2.2.3.2.2.德才兼修德才兼修, ,开拓新型教学方式开拓新型教学方式云计算大数据是“技术+管理”的集合,学生通过云计算大数据的学习，提高学生对理论的认识,强调学生的动手能力以及实战经验

31、的累积。要在沿袭普通高校大体教学模式的基础上，结合新的教改方案,提高专业课和实践教学内容在整个教学体系中的比重，加大实验室建设力度,加大实践教学力度。可以通过组建新型云计算大数据实验室，开展实践教学,借助企业多个环境和场景搭建模拟云计算大数据教学环境，增强学生的动手能力。在教学方法上,应摒弃教师讲学生记的传统模式,引入研究启发式、讨论式、互动式、演练式、现场教学等教学方法,选用各个阶段学生学习特点和需要的教学方法,提高教学质量。3.2.3.3.2.3.选择以工作过程为向导的教材选择以工作过程为向导的教材要选用项目驱动式、任务引领型的教材,因材施教,培养学生养成良好学习习惯,增强学习兴趣。所选用教材应该既强调基本概念和基础知识,又注意理论与实际应用相结合,并且对许多新技术和新的发展方向有不同程度的介绍。实验部分，每个实验项目即为一个真实-_案例，来源于真实项目。3.3.3.3.云计算大数据带给高职实验室建设的前景云计算大数据带给高职实验室建设的前景高职院校作为教育领域的重要组成部分，在培养高级应用人才方面有着巨大的作用而高职实验室作为高职院校的教学实践的重要组成部分，为高职院校学生的技能培养起着关键的作用。现在已经是信息化的时代，如何对高职实验室进行信息化改革，从而更大地发挥高职实验室的教