《ETL数据抽取》PPT课件.ppt

《《ETL数据抽取》PPT课件.ppt》由会员分享，可在线阅读，更多相关《《ETL数据抽取》PPT课件.ppt（22页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、数据抽取2015年9月2 日 数据分析事业部 舒礼明目录：1.ETL定义2.ETL过程3.问题分析4.现状分析培训目的：掌握ETL基本概念了解ETL的问题以及现状目录：1.ETL定义2.ETL过程3.问题分析4.现状分析ETL定义ETL定义涉及以下内容：ETL 定义ETL定义：数据的抽取（extract）、转换（transform）、装载（Load）的过程。ETL 前提 确认ETL范围：通过对目标表信息的收集 选择ETL工具：a.考虑资金 b.运行的平台、对源和目标的支持程度、数据抽取管理监控功能、对异常情况处理。确认解决方案：抽取分析、变化数据的捕获、目标表的刷新策略、数据的转换以及数据验证

2、ETL 原则 1.尽量对数据进行预处理。保证数据的安全性、集成与加载的高效性。2.ETL的过程是主动的“拉取”，而不是从内部“推送”，起可控性将大为增加。3.流程化的配置管理 4.数据质量的保证：正确性、一致性、完成性、有效性、可获取性目录：1.ETL定义2.ETL过程3.问题分析4.现状分析l数据抽取l数据清洗l数据转换l数据加载ETL过程ETL过程ETL过程.数据抽取ETL过程.数据抽取数据来源文件系统、业务系统抽取方式根据具体业务进行全量或者增量抽取抽取效率将数据按照一定的规则拆分成几部分进行并行处理抽取策略根据具体的业务制定抽取的时间、频度，以及抽取的流程ETL过程.数据清洗ETL过程

3、.数据清洗数据不缺对空数据、缺失数据进行数据不缺操作，无法处理的作标记数据替换对无效数据进行数据替换格式规范化将源数据抽取的数据格式转换成为便于进入仓库处理的目标数据格式主外键约束通过建立主外键约束，对非法数据进行替换或者导出到错误文件重新处理ETL过程.数据转换ETL过程.转换规则数据合并多用表关联实现，大小表关联使用嵌套，大大表关联用join数据拆分按一定规则进行数据拆分行列互换排序、修改序号去除重复记录数据验证：sum、count、查询维度表实现方式A.在ETL引擎中进行（SQL无法实现的）B.在数据库中进行（SQL 可以实现）ETL过程.数据加载ETL过程.数据加载目录：1.ETL定义

4、2.ETL过程3.问题分析4.现状分析问题分析数据异常将错误的信息单独输出，继续执行ETL，错误数据修改后再单独加载中断ETL，修改后重新执行ETL原则：最大限度接收数据环境异常对于网络中断等外部原因造成的异常，设定尝试次数或者尝试时间，超数或超时后，由外部人员手工干预其他异常例如源数据结构改变、接口改变等异常情况，应进行同步后，再装载数据ETL设计规范.开发 ETL开发首先要确定的是流程的执行顺序以及条；其次是具体表映射关系的定义，在数据库性能允许的情况下，尽可能使用sql语句进行处理。对于具体映射和流程的命名，应该以维护方便为前提：映射：以目标表名命名流程：以流程要实现的功能命名不允许使用临时的SQL语句操作数据库，必须编写好的SQL脚本或存储过程限定手工干预只能运行某个流程，不允许运行单个过程每一项手工操作必须留下记录ETL设计规范.设计SQL语句应书写规范，关键字全部大写，同时应增加注释。对于自定义咧，需要按照公司规范来命名，eg常见问题的分析字符集问题缓慢变化维度处理增量、实时同步的处理错误数据的检测变换数据的捕获抽取异常中止的处理ETL 工具厂商目前ETL工具来源：数据库厂商自带的ETL工具，如OWB等第三方工具提供商，如informatic等开源ETL工具，如kettle谢谢观看！