数据库接入规范-数据库规范.doc-得力文库

资源描述

《数据库接入规范-数据库规范.doc》由会员分享，可在线阅读，更多相关《数据库接入规范-数据库规范.doc（5页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、数据库接入规范|数据库规范数据接入规范-数据库修订历史日期修改说明部门修改人数据接入需求基于数据采集需求，初步判断数据的接入源是否从业务数据库中获取。联系技术研发部同事，请求数据源接入的位置参数，通过配置化方式达到将数据从业务系统拉取、装载到数据仓库贴源层的目的。数据接入流程 1.数据中心分析组接到TAPD数据接入需求之后，分析接入数据属于数据接口列表的哪个系统，在对应的系统标题下添加模板，参照效果图-平台效果图。 2.和需求发起人进行沟通，确定提供数据的方式（数据库、文件、接口等），让需求发起人补充详细的数据口径，补充到需求要求里面，指定数据仓库组或平台组的一个人进行转发。

2、 3.数据仓库组或平台组根据需求描述。跟数据源提供方（可以是需求发起方、也可以是技术研发部门）沟通，让其补充模板里的位置参数。 4.数据源提供方根据模板要求，提供位置配置参数。 5.数据仓库组或平台组根据已经得到的位置参数、需求数据指标等信息，设计接入模型和抽取参数。 6.数据仓库组或平台组在接入数据后，整理数据格式，制定清洗转换规则，并补充装载目标表信息。 7.数据中心分析组对最终接入的数据进行验收，并通知需求发起人如何获得接入数据。数据源接入模板需求要求（分析组补充） tapd需求单号：1002513 提起人：陈炳贵(Richard.chen) 需求单号内容：？提供数据方式：数据

3、库、文件、接口详细的数据口径：？位置配置参数（技术研发部补充）配置参数参数取值服务器地址必填数据库端口必填数据库名称必填用户名必填密码必填表名必填，test1 必填，test2 取数口径（sql或者文字说明）选填，单表部分字段、多表关联的请填写。接入模型字段（仓库组补填）字段名注释字段类型源表字段必填必填必填必填必填必填必填必填抽取参数（仓库组补填）配置参数参数取值抽数周期每天抽数时间 7:00 增量标识 1：全量，2：增量数据日期格式增量数据，需要提供数据日期格式，可选如下。时间戳 Yyyymmdd Yyyy-mm

4、-dd 清洗转换规则（仓库组补填）由仓库组补充，不限于数据清洗过滤、字段编码转换、敏感信息转换、接入阀值设置等等。装载目标表（仓库组补填）配置参数参数取值 stg层表名称必填 stg层表描述必填 ods层表名称必填 ods层表描述必填取数位置（仓库组补充，分析组验收）密码等验证信息私下提供。数据库方式：数据库连接方式：表名：字段名注释字段类型必填必填必填必填必填必填文件方式：服务器位置：ip：port 文件位置：接口方式：接口URL：数据接口列表售前支付财务供应链系统管理/基础平台流程中心移动应用商业智能智能家居装模运

5、营监控效果图平台效果图 l 需求单号 tapd需求单号：1002513 提起人：廖先哲martin.liao 需求目的：了解平台效果图运营现状，整合数据效果较好的图片用于APP效果图栏目运营，根据用户标签不断优化运营方向。数据指标： 1.平台现有图总量、各个分类下的效果图数量 2.表头：图片URL地址、上传时间、分类、标签、来源 - 历史收藏量最高的前5000张图 - 20_-20_.4.24 收藏量最高的前5000张图 - 历史分享量最高的前5000张图 - 20_-20_.4.24 分享量最高的前5000张图 - 历史浏览量最高的前5000张图 - 20_-20_.4.24 浏览量

6、最高的前5000张图 - 历史登记转化最高前5000张图 - 20_-20_.4.24 登记转化最高前5000张图 3.热门的分类和标签有哪些? 4.用户搜索最多的关键词有哪些？（排名前20个） l 位置配置参数配置参数参数取值服务器地址必填数据库端口必填数据库名称必填用户名必填密码必填表名必填，test1 必填，test2 取数口径（sql或者文字说明）选填，单表部分字段、多表关联的请填写。 l 目标字段列表（仓库组补充）字段名注释字段类型源表字段必填必填必填必填必填必填必填必填 l 抽取参数（仓库组补充）配置参数参数取值抽数周期每天抽数时间 7:00 增量标识 1：全量，2：增量数据日期格式增量数据，需要提供数据日期格式，可选如下。时间戳 Yyyymmdd Yyyy-mm-dd l 清洗转换规则（仓库组补充）由仓库组补充，不限于数据清洗过滤、字段编码转换、敏感信息转换、接入阀值设置等等。 l 装载目标表（仓库组补充）配置参数参数取值 stg层表名称必填 stg层表描述必填 ods层表名称必填 ods层表描述必填兔信-售前兔信-交付大数据中心报表平台第 5 页共 5 页

展开阅读全文