大数据与大数据技术PPT幻灯片课件.ppt

《大数据与大数据技术PPT幻灯片课件.ppt》由会员分享，可在线阅读，更多相关《大数据与大数据技术PPT幻灯片课件.ppt（59页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、专注于分析预测与行业应用的的大数据公司AdvancedAnalytic Services 音智达量变到质变量变到质变 大数据与大数据技术大数据与大数据技术虞强2016.101 议程u公司简介u大数据与大数据技术u大数据技术应用u大数据案例分享u问题讨论 22023/6/22020/2/133AdvancedAnalytic Services 音智达公司简介公司概况&发展历史主要客户&大数据产品 32023/6/2新加坡上海北京公司概况青岛雅加达专注于分析预测与行业应用的的大数据公司深圳业务1业务2业务3提供基于大数据技术的预测性分析及商务智能解决方案大数据平台、数据集成与准备工具、开源开发技术

2、自助式分析工具、数据可视化工具提供全球顶尖的大数据软件产品300+技术服务人员端到端的大数据平台数据集成、数据挖掘与预测性分析、高级分析企业级大数据仓库、企业绩效管理、商务智能大数据SaaS应用和DaaS服务基于云平台的软件即服务大数据应用为企业提供全面的数据服务 42023/6/2发展历史数据仓库绩效管理高级分析数据可视化看板管理商务智能2.0至今2005200720112002大数据技术大数据应用分析预测数据挖掘数据即服务数据集市 14年来，我们与数俱进52023/6/2汽车制造 电子产品及家电 快消零售 医药与生命科学 航空与物流 高科技制造业 金融及其他主要客户62023/6/2云以

3、H a d o o p 为核心的大数据产品系列数据集成与准备SQL on HadoopText here流计算机器学习开源开发技术数据挖掘以 H a d o o p为核心的大数据产品大数据软件产品Statistica 数据可视化Vortex72023/6/2数据创新经验融合拥有多元化的数据科学家团队和十余年的数据分析经验。经十余年自主开发的IP打造数据行业领先的技术优势。追踪吸收和引进行业内最先进的技术，产品和应用经验。世界顶尖数据技术公司在中国地区的首选合作伙伴。在一大批竞争行业（汽车、制药、快消、家电、物流等）内拥有深厚的客户基础和众多行业成功案例。追求行业业务能力和技术能力的融合以及企业

4、系统架构与解决业务问题间的平衡，具有扎实的项目实施能力。HEADLINE 竞争优势82023/6/22020/2/139AdvancedAnalytic Services 音智达 9大数据与大数据技术2023/6/2Hadoop技术的发展物联网应用需要将物联网应用需要将Hadoop变为一个高性能的分析平台变为一个高性能的分析平台需要Hadoop不光能存储数据，更要能够处理计算数据10Advanced Analytic Service All Rights Reserved 20162023/6/2SQL 分析挖掘预测图形化数据分析智能搜索时间、用户、地理位置、时间、用户、地理位置、事件事件 等

5、标签等标签辅助技术：Kafka,HBase,Cassandra,Accumulo基于大数据技术的数据分析处理Hadoop 核心层核心层数据准备数据准备11Advanced Analytic Service All Rights Reserved 20162023/6/2u技术更迭过快u开源产品成熟度u开发效率u与现有架构的关系u运维与安全大数据技术的顾虑大数据平台计算框架传统数仓功能非结构化流式挖掘分析软件架构（举例）DATA PLATFORM(HDFS)灵活数据准备灵活数据准备SQL in Hadoop数据挖掘与预测数据挖掘与预测S Q L（ODBC、JDBC、。NET）API：Java,C

6、/+,Python前端应用报表报表外部应用外部应用下游系统下游系统管理控制台管理控制台（CloudEra、Talend、KNIME）数据安全以及认证（数据安全以及认证（Portal集成）集成）用工具取代代码作坊MapReducePerformance(runs on disk)OneClickSparkPerformance(runs in-memory&on disk)20XFaster同时处理实时与批次流式处理批次处理转换清洗治理转换清洗治理推荐引擎Spark Streaming/KafkaSpark数据库，文件，批次数据实时，流数据HDFS文件数据流输出基于用户数据理解地模型预测u图形化

7、数据准备挖掘u运用SparkMlib等进行计算u结果回写入Impala或者HIVE非结构化数据为存储的新型SQLu基于落地HDFS的文件或HBASE进行SQL建表解析u提供工业MPP级别查询性能u线性可扩展u标准JDBCSQL界面，直连BO，Tableau，Qlikview,MSTR等报表工具技术方案：特点小结u基于开源系统的成熟商用插件方案u部署简便u提高开发效率u降低实施风险u基于内存的计算性能优异u全部基于唯一Hadoop集群内，统一存储统一计算u减少数据传输迁移的同步问题u维护便捷：一套集群,维护简单u扩展性：无限扩展线性提升u便捷的开发及报表展现工具u图形化ETL，数据挖掘开发u便捷

8、报表展现分析工具u建模过程100%用户参与uIT基础架构与用户数据准备、探查、分析、预测分离 192023/6/2大数据团队组织建设数据与业务的结合大数据开发团队技术平台支持业务人员咨询团队大数据管理员内部团队与专业伙伴紧密合作Evan数据科学家20Advanced Analytic Service All Rights Reserved 20162023/6/22020/2/1321AdvancedAnalytic Services 音智达 21大数据技术应用2023/6/2InternetofCustomersandInternetofThingsInvisible devices and

9、 Wearable devicesTrillions of networked nodesLow bandwidth last-mile connectionMostly addressed by local schemesMachine-centricSensing-focusGlobal addressingUser-centricCommunication-focusLaptops /tablets /smartphones Billions of networked devicesHigh-bandwidth access22Advanced Analytic Service All

10、Rights Reserved 20162023/6/2Predictive Maintenancethat enable you to change your businessHadoopMachine LearningQuery and reportingIoT解决方案Command and ControlYou have devices on the network edgePlant FloorThingsSupply ChainThingsBack OfficeThingsBasic SensorsIntelligent Devicesthat provide you dataSQL

11、 DatabasesBlob StorageTable StorageExternal StorageDocumentDBthat you understand,apply rules,models and moreCommand andControlEvent Hub(Service Bus)本质是基于“信息物理系统”实现“智能化”二、工业4.0时代的智能制造IoT的本质25Advanced Analytic Service All Rights Reserved 20162023/6/2二、工业4.0时代的智能制造IoT-智能工厂26Advanced Analytic Service Al

12、l Rights Reserved 20162023/6/2p360CustomerProfilepMicro-SegmentationppNextBestActionpCustomerSentimentppp关联分析行动创创建客建客户户档案档案识别共同关键词CRM账户信息及客户特征EDW交易历史社交媒体关键字整合数据并载入hadoop连接至文本挖掘应用将数据库连接至EDW连接至flat fileSales Lift 20%60%100%n%购买周期趋势购买家庭信息购买人口特征通过API与CRM相连连接至flat file连接至flat file删除重复客户载入Hadoop在用户ID间连接数据

13、第一阶段识别人口微簇客户画像 删除重复客户在用户ID间连接数据识别共同关键字创创建客建客户户档案档案数据流引擎数据流引擎人口分布客户倾向HADOOP 集群集群/YARN关联分析行动数据数据库库分析分析查询查询可可视视化化报报表表分析工具及分析工具及应应用用HDFS/NFS低延迟查询集成服集成服务务器器BI服服务务器器数据数据库库集群集群/服服务务器器社交媒体链接数据库链接文本分割链接API链接固定文本链接文本分割链接消费心理第一阶段HDFS API数据混合与数据混合与浓缩浓缩集成引擎集成引擎ACTIAN分析平台CRM账户信息及客户特征EDW交易历史社交媒体关键字购买周期趋势购买家庭信息购买人口

14、特征客户画像参考架构360度客户视图30Advanced Analytic Service All Rights Reserved 20162023/6/22020/2/1331AdvancedAnalytic Services 音智达 31案例分享车联网大数据应用2023/6/2项目背景围绕车辆全生命周期，数据驱动的车联网与跨行业融合，可衍生出多样的商业模式与创新服务；基于丰富的车联数据、多样的服务平台，可对行业、社会热点展开洞见分析，同时挖掘更多的商业价值，拓展新的业务车辆全生命周期CarFullLifeCycle车辆防盗，财产保护PropertyProtection保险车联网Telema

15、ticsInsurance车内LBS服务In-CarLBS车载4G热点Onboard4GWIFI预测性保养提醒ProactiveReminder汽车延保ExtendedWarranty预测性维修提醒ProactiveReminder远程在线升级OTAUpgrade车队管理FleetMgmt.汽车共享CarSharing车况分析报告AssessReport二手车联合鉴定UnitedAssessment消费者画像UserPortrait新车销售线索SalesLeeds客制化服务Customization产品规划Planning设计研发R&D生产制造Production市场营销Marketing售后

16、保障AfterSales持续改进KeepImprove新车销售CarSales试驾TestDrive金融Finance维修Repair车生活In-CarLife保险Insurance保养Maintain租赁Leasing二手车UsedCar安吉星大数据项目目标与当前的问题目标：主数据(数据质量)的升级主题模型落地,保持数据一致性提高运维的灵活性应用数据缓存的改造用空间换时间的方法保护后台核心应用的正常运行企业经营分析的改造提高运营速度和质量,降低数据开发成本新业务的支持驾驶行为分析燃油分析二手车评估车况鉴定报告问题：缺少数据主题重复开发和浪费成本数据质量不可控数据缺少管控BI 开发成本高,周期

17、长缺少业务分析平台车辆数据采集能力有限业务数据无法有效支持大数据平台逻辑架构报表/可视化数据集成区批量数据处理实时消息队列数据湖泊区机器学习区NoSQL区流计算区系统管理数据管理搜索引擎区数据交换区数据源车辆行驶日志车辆行驶日志急加速、加速日志车载系统日志实时数据计算36驾驶行为评分37第1步：建模变量的选择从所有变量中，选取建模选定的变量第2步：衍生建模变量计算基于TP类别的变量，进行用户驾驶风险的初步计算第3步：用户出险概率计算基于第2步计算结果，结合HAHB类别变量，进行用户出险概率的计算第4步：驾驶风险评分计算将出险概率，转化为对应的驾驶风险评分第5步：驾驶行为评分计算将驾驶风险评分，

18、转化为对应的驾驶行为评分驾驶行为评分阈值计算u通过机器学习算法，实时的将所有用户数据代入驾驶风险概率模型，动态计算相关阈值uSetresponsevariable=uncomfortablemaneuveruSetpredictorvariable=acceleration,speed,turnsuCalculatethescore38驾驶行为评分用车轨迹-用户画像When何时Where何地Who是谁What做什么上班族Commuter商务人士BizMan家庭主妇Housewife夜晚活动族NightOwls40用车轨迹交叉销售售后维修保养机会点OpportunitiesforA/SMaint

19、enance新车销售机会点OpportunitiesforNewCarSalesMaintenance Opportunities 41车况报告车况报告2020/2/1344AdvancedAnalytic Services 音智达 44案例分享智能生产预测2023/6/2项目背景项目背景随着业务的不断发展，生产线不断扩张，不同生产线、不同机台、不同工序所产生的玻璃面板坏点数量参差不起，良品率总体呈现下降趋势。为了提高玻璃面板的良品率，不断优化工艺流程，提升产品质量，决定建立数据分析平台，来预测坏点产生跟生产流程上的哪些因素有关，来做有正对性的改进。项目实施收集生产Glass过程当中所有相关的

20、因子信息，通过Dataflow工具对品质异常的玻璃数据进行regression、correlation挖掘算法分析，计算各因子与产品异常之间的影响关系。同时针对正常品质玻璃也做因子分析，计算得出正常品质下各因子的正常范围值，从而可以快速判定超出范围的为异常值。品质异常因子分析抽取源系统数据并通过数据的业务逻辑进行数据关联进行数据准备，然后通过数据挖掘算法进行correlation、regression两类数据挖掘，并将挖掘结果写到HDFS文件系统中。46Advanced Analytic Service All Rights Reserved 20162023/6/2通过针对defect_co

21、unt、recipe、TC_C1_EV因子，经过regression算法，从测试数据中挖掘出defect_count预测数据数据分析过程通过针对不同Product_ID下，defect_count因子和TC_PRESSS、TC_IP1_PRESS、TC_IP2_PRESS，车台温度等因子，经过correlation算法，从测试数据中挖掘出相关性数据注：挖掘数据位于测试中转机I:To_Andycorrelation.txt、I:To_Andyregression.txt47Advanced Analytic Service All Rights Reserved 20162023/6/2关联预测

22、准确度（越靠近中线，预测偏差越小）48Advanced Analytic Service All Rights Reserved 20162023/6/2线性回归分析异常点部分需要进一步分析49Advanced Analytic Service All Rights Reserved 20162023/6/2分析结果基于目前的数据，从correlation挖掘结果数据中可以看到如下结果例如TA546A5ABC00这款产品，较其他产品，defect_count和TC_PRESS等压力参数因子的相关性更低，跟车台温度相关性较高例如TB546A6ABC00这款产品，较其他产品，defect_coun

23、t和TC_PRESS等压力参数因子的相关性更高，说明压力参数对这款产品的defect数量有较大影响；其中TC_IP2_PRESS因子的较其他因子的影响更大基于目前的数据，由regression模型通过参数因子预测defect数量，比对原来的数量，可以看到如下结果当原defect_count较大时，预测的defect_count也较大。可以看出模型预测趋势与实际情况吻合随着数据和因子数量的增加，模型会更加稳定和成熟。那时将新的参数因子数据传递给模型，作出更加准确的预测50Advanced Analytic Service All Rights Reserved 20162023/6/22020/

24、2/1351AdvancedAnalytic Services 音智达 51案例分享传统数仓转大数据2023/6/2项目背景u使用传统的标准数仓建模，分ODS、DW、DM及DMAuETL主要通过存储过程实现u存储过程数据加工较多的使用临时表、中间表u使用传统交易型DBMSORACLE作为数据仓库平台u前端通过刷CUBE提升报表查询速度u支撑报表数量：目前150左右u每日增量更新时长：1：0012：5052Advanced Analytic Service All Rights Reserved 20162023/6/2存在的问题数据冗余比较严重临时表、中间表使用过多，对内存及磁盘IO压力较大层

25、与层之间调度依赖严格数据加工性能不足数据查询性能不足高并发查询性能下降严重53Advanced Analytic Service All Rights Reserved 20162023/6/2并发的计算架构54SQL(JDBC/ODBC/.Net)JAVA/C/API 加载入加载入分布式存储分布式存储SQL on Hadoop加载入加载入SQL in HadoopSourceCDH Cluster+Hadoop ETL分布式内分布式内存存数据整合数据整合数据数据抽取抽取CDH Nodes(Clouderas distributiong including Apache Hadoop)Hado

26、op ETL runs natively on every nodeSQL on HadoopSQL on Hadoop基于标准基于标准SQL或者或者API界面界面输出输出54Advanced Analytic Service All Rights Reserved 20162023/6/2新架构解决的问题数据冗余比较严重临时表、中间表使用过多，对内存及磁盘IO压力较大层与层之间调度依赖严格数据加工性能不足数据查询性能不足高并发查询性能下降严重Dataflow流式加工数据，只将结果集回写数据库，大大避免减少数据冗余Dataflow中流式加工数据，可以不用临时表，节约大量磁盘IODataflow

27、作业中直接实现业务逻辑，各报表相对独立无依赖Dataflow流式并行加工数据，且可通过扩展节点线性提升性能Impala特有向量计算技术及采用分布式并行计算架构Impala向量计算、列存储、并行计算等技术完美支持高并发查询55Advanced Analytic Service All Rights Reserved 20162023/6/2结果比较现状增量更新每日更新1万左右保单号增量数据数据加工耗时近12小时出报表需耗时近16小时现状全量更新现在已经不能完整执行一年多前数据加工耗时近20天还未结束（失去业务意义，且数据量不停增长）Dataflow增量数据刷新1小以内完成全量数据刷新8小时完成报表直连大数据平台数据库，Cognos 5秒内出结果56Advanced Analytic Service All Rights Reserved 20162023/6/2专注于分析预测与行业应用的的大数据公司AdvancedAnalytic Services 音智达大数据创新实验室Better Data,Better Decision大数据之路有我们，不再迷茫57 总结 58问题与讨论2023/6/2知识回顾知识回顾Knowledge Knowledge ReviewReview