大数据实验室建设方案规格配置.doc

《大数据实验室建设方案规格配置.doc》由会员分享，可在线阅读，更多相关《大数据实验室建设方案规格配置.doc（17页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、大数据实验室建设方案规格配置本次给出一期项目所需软硬件平台配置，可同时满足150个学生进行大数据实验，按150个用户的云桌面；教学云盘按照2000人，每人5GB容量存储计算，预计需要10TB的可用容量。采用分布式云存储模式，系统裸容量达到24TB，做1:1冗余，实际可用容量达到12TB。以下为初步配置，具体配置需要根据学校实际需求进行调整。产品名称产品模块产品型号产品描述数量单位大数据实验一体机管理节点cServer C1208管理底层后台的资源分配，管理各个处理节点的容器生命周期，协调各个处理节点的容器分配，提供对外统一访问查询接口， 存储处理节点容器基本元数据，存储处理节点所需容器镜像，提

2、供容器高可用功能。双路Intel E5 12核处理器，128GB 内存，150G固态硬盘，480G固态硬盘*2，4T SATA 7200RPM企业盘*2，1+1冗余电源。3台处理节点cServer C1208提供节点容器接口，提供容器运行环境并监控容器运行生命周期，回报容器生存情况并参与资源协调工作，提供容器内服务的端口映射。双路Intel E5 12核处理器，128GB 内存，150G固态硬盘，480G固态硬盘*2，4T SATA 7200RPM企业盘*2，1+1冗余电源。15台大数据实验平台管理平台BDRack V1.01.可管理系统内的一体化实验平台的资源控制和各个角色对后台的访问。可提

3、供用户开启集群，销毁集群等操作，可实时监控集群使用量并进行调整。对于科研：系统可以对服务器资源进行调度，调整系统资源重新分配以支撑对科研工作的需求。可提供30个学生同时进行大数据实验，提供30个学生的同时实验许可，为每个学生分配包含5个虚拟机的集群，共150个虚拟机。2.实验平台采用B/S架构，支持谷歌，火狐、360极速浏览器。3.软件管理平台作为大数据实验平台的支撑平台，需具备用户管理功能(包括管理员、老师、学生三级角色管理)，并且老师角色由管理员注册，老师角色具备注册学生用户的权限。4.管理和控制整个系统的各种设备和资源。5.允许在使用量上的部分超额，平台通知后台自动进行调度，对资源优化管

4、理。6.实时展示系统内集群使用情况，人数上限和当前使用量。7.提供用户对自身容器集群生命周期的管理，可以自行的开启和关闭容器。8.支持管理员和老师远程关闭所管理学生的容器资源，学生也可以自行关闭申请资源。9.系统支持初始按照硬件参数指定用户同时分配集群的并发上限。实时展示系统内集群使用情况，人数上限和当前使用量。系统支持在并发上限的基础上按照硬件资源实际使用情况允许一定程度的超额使用。10.系统支持初始按照硬件参数指定用户同时分配集群的并发上限。实时展示系统内集群使用情况，人数上限和当前使用量。系统支持在并发上限的基础上按照硬件资源实际使用情况允许一定程度的超额使用。11.实验平台支持对外提供

5、集群内容器资源的申请和访问入口以及相关集群端口资源的访问。12.可提供容器ssh登陆端口密码，通过OpenVPN访问容器资源。13.提供系统所需其他客户端软件的下载，如xshell，chrome浏览器等。14.每个用户可以隔离安全的使用独立的大数据集群，每个用户的操作互不影响，系统按照服务器性能指定可以同时运行的集群个数。15.用户既可以手动安装自行编排集群方案，也支持使用一键部署功能，快速构筑Hadoop、Spark、Storm、Hive、Hbase等集群，跳过手工部署阶段。16.管理平台需具备SDN（Software Defined Network）功能。平台内部需使用虚拟网络，将网络设备

6、控制面与数据面分离，实现网络流量的灵活控制。1套大数据实验平台容器调度系统cSchedule v1.01.实时监视服务器资源并进行调度2.提供容器资源访问接口，如容器资源的开启，关闭，状态查询等。3.将容器指定端口(如ssh服务端口)映射到特定服务器的端口提供容器对外登陆功能4.后台实时监控容器的生命周期。5.系统可提供各处理节点硬件资源的实时调控，自动将故障节点移出集群，计算节点故障不会影响容器正常使用。6.提供基于http协议的restful API接口，可以供第三方工具调用显示监控数据。7.调度系统支持十万级别并发处理。8.支持负载均衡处理负载较重的API接口，使得API请求处理控制在毫

7、秒级别。9.支持秒级创建资源：即从用户在页面点击“创建”按钮，到容器资源成功创建完成所花费时间不能超过5秒钟。1套大数据实验平台镜像仓库cRegistry v1.01.提供容器所需镜像仓库的存储，调度，查询等操作2.提供教学所需的镜像资源。包括hadoop组件，hbase组件，spark，storm等大数据组件。3.支持1T以上的镜像资源存储。4.镜像仓库可靠性不低于99.9%。5.内部数据网络支持千兆带宽，上传下载速度不低于100MB/s。6.支持AUFS(全称Advanced Multilayered Unification File System，即高级联合文件系统)。AUFS是一种分层

8、、轻量级并且高性能的文件系统，它支持对文件系统的修改作为一次提交来一层层的叠加，同时可以将不同目录挂载到同一个虚拟文件系统下。容器通过共享基础的文件系统层，同时再加上自己独有的改动层，提高了存储的效率。1套大数据实验平台资源监控系统实时监控整个平台内集群资源使用相关数据： 1. 已创建的集群总数量，方便用户掌控资源使用情况，合理安排学生同时学习时间。 2. 已创建集群的类型：Spark/Hadoop/Storm/Hive等，随时掌握每个实验的学生学习情况。 3. 已创建集群各类型的数量：方便教师管理统计某个具体课程（Hadoop/Storm/Hive等）的学生的学习进度。 4. 已创建集群的使

9、用者：方便教师统计学习人数和单个学生的学习进度。 5. 同一类型使用者创建的集群数量：方便教师管理统计整体学生的学习进度。 6. 集群使用者的详细信息： 统计具体学生使用情况，方便教师针对性教学。 7. 剩余可创建集群数量： 帮助教师掌控是否资源足够，方便管理者决策是否需要升级更高版本或者增加物理资源。大数据实验一体机软件仓库提供实验过程中需要学习和使用的多种软件，如： 1. 可扩展开发平台：通过安装我们提供的订制化插件，可支持大数据应用开发。 2. Hadoop插件：针对Hadoop订制化开发插件，帮助用户快速开发Hadoop程序。 3. Storm插件：针对Storm订制化开发插件，帮助用

10、户快速开发Storm程序。 4. HBase插件：针对HBase订制化开发插件，帮助用户快速开发HBase程序。 5. Hive插件：针对Hive订制化开发插件，帮助用户快速开发Hive程序。大数据实验学生许可最大可同时支持150个学生进行大数据实验150个华为交换机S5700-28C-SIS5700-28C-SI24个10/100/1000Base-T以太网端口，4个复用的千兆Combo SFP，上行支持41000Base-X SFP、210GE SFP+、410GE SFP+插卡可插拔双电源，支持交流或者直流供电包转发率：102Mpps交换容量：256Gbps含堆叠卡、扩展卡（2端口万兆S

11、FP+光接口板）、2个多模光模块、2对10M多模光纤2台机柜+PDUK3604219国际标准、42U、600*1000，含PDU1台大数据资源包cResources1.01.提供180本大数据实验教材2.提供实验教材相配套的PPT3.提供综合85个大数据实验的实验手册及配套85个基础实验的高清视频课程3.1 涵盖原理验证、综合应用、自主设计及创新的多层次实验内容3.2 每个实验呈现详细的实验目的、实验内容、实验原理和实验流程指导3.3 配套相应的实验数据和高清视频课程，参照手册即可轻松完成每个实验4.提供大数据实验一体机实验手册配套视频，每个实验配套一个相应的学习视频5.提供大数据实验所需要的

12、海量数据，包括交通数据、气象数据、环境数据、灾害数据、地理数据1套大数据服务包cServices1.01.提供现场安装实施2.提供3年7x24小时电话、网站和邮件支持，技术服务人员现场支持3.提供7天技术培训服务4.每年集中提供多次大数据师资培训5天桌面虚拟化云桌面服务器cServer C12082*E5-2650v3，12*16GB Memory，2*240GB SSD；2个千兆口，8Gb/s FC*1(含光模块),2U,含导轨。4台集中共享存储rStor-7024D2U 24盘位高性能的冗余双控制器+2U/24盘位扩展柜*2；支持6Gb SAS/SATAII企业级硬盘；支持RAID 0、1

13、、3、5、6、10、30、50、60、NRAID级别；4*8GB缓存；4个8Gb光纤主机接口；4个1Gb ISCSI主机接口；企业级900GB*48。1台云终端双核x86架构；2GB Memory,16GB SSD, 2 LAN ports (4x10BaseT/100BaseTX/1000BaseT),USB*4,VGA*1,HDMI*1150台交换机（接入）S6700-48-EI48个10/100/1000Base-T以太网端口，包转发率：102Mpps交换容量：256Gbp2台交换机（核心）S5700-28C-SI24个10/100/1000Base-T以太网端口，支持交流或者直流供电包

14、转发率，102Mpps交换容量：256Gbps含堆叠卡。2台云桌面软件150用户license150套显示器显示器150台键鼠套装键盘鼠标等配套设备150套机柜K3604219国际标准、42U、600*1000，含PDU1台教学云盘云存储控制服务器cServer1208提供云存储系统元数据的管理和维护，对外提供统一命名空间；同时提供对存储资源分配、负载均衡调度，以及用户认证、存储集群监控管理等。支持数据快照、精简配置、用户配额管理等功能。采用双路Intel E5 8核处理器，64GB 缓存，2*1Gb数据接口，2*480GB SSD，热拔插（1+1）冗余电源, 1*机架角轨套件1套云存储节点服

15、务器cServer1212提供用户数据的存储和管理，支持数据块跨节点间的容错和恢复，对外响应用户的读写访问请求，存储系统的性能随节点数量增加线性增长。采用双路Intel E5 6核处理器，16GB缓存，2*1Gb数据接口，2*150G SSD系统盘，12 * 3.5 SATA/SAS热拔插盘位，热拔插（1+1）冗余电源，1*机架角轨套件。1套分布式存储软件cStor V2.0采用分布式云存储架构，支持存储系统在线PB级Scale-out扩展，其性能随存储节点数量增加线性扩展，支持任意1个磁盘或节点失效而不影响系统的使用以及数据的完整性。1套每TB容量管理许可每TB容量管理许可24TB网盘基础平

16、台软件V2.0xx网盘，私有云的安全，公有云的便利，为用户构建私有云平台，为用户提供了安全、稳定、高效、性价比高的数据管理服务。1套网盘用户licensecPanV2.0用户数许可。2000个机柜K3604219国际标准、42U、600*1000，含PDU。1台华为交换机S5700-28C-SIS5700-28C-SI24个10/100/1000Base-T以太网端口，4个复用的千兆Combo SFP，上行支持41000Base-X SFP、210GE SFP+、410GE SFP+插卡可插拔双电源，支持交流或者直流供电包转发率：102Mpps交换容量：256Gbps含堆叠卡、扩展卡（2端口万兆SFP+光接口板）、2个多模光模块、2对10M多模光纤。1台