一体化公共数据平台部门数据专区建设要求(T-FBD 001—2023).pdf

《一体化公共数据平台部门数据专区建设要求(T-FBD 001—2023).pdf》由会员分享，可在线阅读，更多相关《一体化公共数据平台部门数据专区建设要求(T-FBD 001—2023).pdf（8页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、团体标准T/FBD 0012023一体化公共数据平台 部门数据专区建设要求Requirements for the construction of integrated Big data platform departmentdata zone2023-11-28 发布2023-11-28 实施福建省大数据产业商会发 布ICS 35.020CCS L70T/FBD 0012023I前言本文件按照 GB/T 1.12020标准化工作导则第 1 部分：标准化文件的结构和起草规则的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本文件由福建大数据一级开发有限公

2、司提出。本文件由福建省大数据产业商会归口。本文件起草单位：福建大数据一级开发有限公司、杭州数梦工场科技有限公司、福建省标院信息技术有限公司本文件主要起草人：李喆、涂平、石福仁、邹建红、黄炜、庄梓教、叶建红、陈绍倩、李元、张恩术、奚瑜、万钧、许敬诚T/FBD 00120231一体化公共数据平台 部门数据专区建设要求1范围本文件规定了一体化公共数据平台中部门数据资源专区的定位关系、数据流向、建设要求。本文件适用于一体化公共数据平台各领域部门数据资源专区的建设。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注

3、日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T 21063.2政务信息资源目录体系 第 2 部分：技术要求GB/T 268632022火电站监控系统术语GB/T 352952017信息技术 大数据 术语GB/T 363442018信息技术 数据质量评价指标GB/T 39477信息安全技术 政务信息共享 数据安全技术要求3术语和定义下列术语和定义适用于本文件。3.1部门数据专区department data zone基于福建省一体化公共数据平台，满足跨部门应用场景的数据综合应用空间。3.2数据集data set数据记录汇聚的数据形式。注：它可以具有大数据的体量、速度、多样性

4、和易变性特征。数据集的特征表征的是数据本身或静态数据，而数据的特征，当其在网络上传输时或暂时驻留于计算机存储器中以备读出或更新时，表征的是动态数据。来源：GB/T 352952017,2.1.463.3数据标准data standard数据的命名、定义、结构和取值规范方面的规则和基准。来源：GB/T 363442018,2.83.4数据湖data lake以原生格式存储原始数据的原始数据存储库或系统。注 1：数据湖直接按原样存储数据，而无需事先对被存储数据进行结构化处理。注 2：数据湖能存储结构化数据（如关系型数据库的表），半结构化数据（如 CSV、日志、XML、JSON），非结构化数据（如电

5、子邮件、文档、PDF）和二进制数据（如图形、音频、视频）等。T/FBD 00120232来源：GB/T 268632022,10.423.5原始数据库original library原始数据库是保留原始数据，能够反映原始业务场景的数据集。注：原始库为各类应用提供基本的数据支撑，为后续数据血缘追踪、原始场景回溯等业务需求提供支持。3.6标准数据库standard library由原始库的数据按照标准库的数据标准，进行一对一清洗、转换、关联、比对等数据处理并按照业务使用规则或属性规则进行整合加工与汇总后形成的标准数据集。3.7基础数据库underlying library按照对象要素、要素特征等进

6、行抽象，提取融合成不同的业务实体，围绕业务实体长期积累形成的多种维度的公共数据集。3.8主题数据库subject library按照主题分类标准进行数据的归集、加工、融合，形成针对业务主题的数据集合。4定位关系4.1依托福建省一体化公共数据平台的数据汇聚、治理、共享等能力，开通专区，满足各领域定制化数据治理需求。4.2福建省省级部门数据资源专区与福建省一体化公共数据平台的定位关系如图 1 所示。图 1定位关系图5数据 流向5.1原始 库的 数据 来源 于数 据湖，数据 组织 与数 据湖保持一致。5.2标准库的数据来源于原始库，为基础库和主题库提供数据支持。T/FBD 001202335.3基础

7、库的数据来源于标准库，为主题库提供数据支持。5.4主题库的数据来源于标准库、基础库，为不同业务场景应用提供数据支持。5.5部门数据资源专区各数据库之间的数据流向如图 2 所示。图 2数据流向图6建设要求6.1架构要求数据从产生到存储在部门数据资源专区的整体环节应遵循原始库、标准库、基础库、主题库的数据架构。6.2安全要求部门数据资源专区建设安全要求应符合 GB/T 39477 规定。6.3原始库建设要求原始库的建设遵循以下要求：a)应根据数据湖中表的情况以增量或全量方式抽取数据；b)应保存所有操作数据；c)应支持结构化、半结构化、非结构化数据类型，数据更新频率与数据源保持一致；d)应以流水表和

8、快照表为主，按日期对数据进行分区保存；e)不应使用拉链表；注：拉链表，即一种针对数据仓库设计中表存储数据的方式而定义的数据模型。f)应根据 GB/T 21063.2 对来源数据进行数据资源编码；g)数据表结构和数据粒度与接入时一一对应，不对数据做任何处理；注：数据粒度，即数据仓库中数据的细化和综合程度。h)原始库的数据组织形式宜依据数据来源进行分类。6.4标准库建设要求标准库的建设遵循以下要求：a)数据结构应以原始库数据结构为基础，按标准库数据清洗规则（见附录 A）对原始库数据进行提取、清洗、关联、比对、标识等标准化的加工与处理；b)数据更新频率应与原始库更新频率保持一致；c)在标准化过程产生

9、的问题数据应反馈至数据源单位修改；T/FBD 00120234d)标准库的数据组织形式宜依据数据来源分类，同类数据应做数据整合；注：如将“A地市常住人口”与“B地市常住人口”信息整合。e)数据存储周期宜根据业务情况而定。6.5基础库建设要求基础库的建设遵循以下要求：a)省级数据库应在数据内容及格式、系统建设、入库要求、运维管理等方面同国家级数据库保持一致；b)在系统建设时应考虑后期数据扩展工作，预留足够存储空间、扩展接口等；c)建设和管理要求应满足相关工作实际需要；d)应对接收到的数据实现全生命周期管理，每条数据可溯源；e)基础库包括人口、法人、自然资源、经济、电子证照等。6.6主题库建设要求

10、主题库的建设遵循以下要求：a)主题库应基于业务需求，针对某一业务场景进行数据的归集、加工、融合，以支撑各领域数据共享、使用需求；b)主题库包括：政务服务、医疗健康、社会保障、生态环保、信用体系、应急管理、国资监管、经济运行监测等领域，划分规则见全国一体化政务大数据体系建设指南。T/FBD 00120235AA附录A（资料性）标准库数据清洗规则部门数据专区的标准库数据清洗通用规则见表 A.1。表 A.1数据清洗通用规则类型具体说明示例日期YYYYMMDD，默认为 1900010120230101时间YYYYMMDDHHMMSS，默认为 1900010100000020230101051200字符

11、串去除头尾空格；去除回车；默认为 NULL；全角转半角Trim(政务服务）整型默认为 0（可根据具体业务类型调整），应不存在空格、换行等字符双精度默认保留 4 位小数位（可根据具体业务类型调整）身份证号18 位字符，15 位的身份证号应通过数据加工系统转化为 18 位身份证号主键去重去空值域清洗对于数值类型进行检查以查看它们是否位于可接受的范围内，假如默认值为空，则不做数据转换，否则需要赋为默认值数值清洗强制转换对该字段强制转换为默认值密码字段转为“0”空格清洗对字段值进行检查，判断字段值是否为空格，假如默认值为空，则不做数据转换，否则将该字段转换为默认值T/FBD 00120236参考文献1 国务院办公厅关于印发全国一体化政务大数据体系建设指南的通知（国办函2022102号）2 福建省大数据发展条例（2021 年 12 月 15 日福建省第十三届人民代表大会常务委员会第三十次会议通过）3 福建省人民政府关于印发福建省数字政府改革和建设总体方案的通知（闽政202232号）4 福建省人民政府办公厅关于印发2023 年数字福建工作要点的通知（闽政办202316 号）