XX市智慧城市大数据平台汇聚共享能力建设项目建设方案.docx

《XX市智慧城市大数据平台汇聚共享能力建设项目建设方案.docx》由会员分享，可在线阅读，更多相关《XX市智慧城市大数据平台汇聚共享能力建设项目建设方案.docx（22页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、XX市智慧城市大数据平台汇聚共享能力建设项目建设方案成果基础上进行开发或改造，并保持项目源代码的继承性和连贯性。 投标人需要完全满足以下要求：5.1 继承性和连续性原则（1）平台功能完善须在现有技术架构和源代码之上进行开发， 即充分继承已有代码成果，沿用原有服务接口使用方式和业务流程;（2）充分继承和利用现有的软硬件资源，包括服务器、操作系 统、数据库、中间件和网络配置等内容；（3）如有必要，需保证各平台现有功能模块和优化完善版本能 够并行运转；（4）保证用户基于现有平台API搭建的业务系统能够平滑过 渡，并继续支持用户既有系统的稳定运行，即保持高版本对低版本的 兼容性；（5）各平台功能完善版

2、本上线后，旧系统内的数据务必确保可 查、可用、可导出、可移植，不能丢失或废弃。5.2 实用性和成熟性原则（1）充分借鉴和吸收同类产品的优势，以实现各平台功能模块 优化完善以及平台总体性能得到提升为基本目标，有步骤、分层次地 进行优化完善；（2）坚持实用、经济的原则，面向实际、注重实效，合理制定实施规划，避免一味追求先进技术和贪大求全;（3）把科学的信息资源共享服务理念和先进成熟的技术手段紧密结合起来，准确合理的实施业务流程优化；（4）采用的技术手段或产品，符合当今技术发展方向和未来发 展趋势，确保系统具有较强的生命力，有长期的使用价值。5.3 可靠性和可维护性原则（1）建立明确的项目建设质量目

3、标，保证新增程序代码可理解、 可测试、可修改，并建立严格的质量审查机制；（2）充分考虑系统版本切换、业务系统衔接、信息安全等方面 的问题，降低系统建设和运维风险；（3）新增功能服务应坚持采用模块化、结构化的程序设计思路;（4）持续改进程序设计、数据结构、接口说明、系统开发和维 护日志等文档，保证文档描述的规范性、完整性和易读性，便于理解 和使用。5.4 兼容性和扩展性原则（1）保持前端系统与主流浏览器的兼容性，如IE11、Chrome. Firefox. Safari等，包括必要的兼容性测试和修改，提供支持HTML5、 CSS3等新标准的解决方案等；（2）保持系统与IE旧版本的兼容性，提供IE

4、8等版本的兼容 视图，保证前端系统功能的正常显示和使用；（3）在满足当前应用需求的基础上，建设思路应具备适当的超 前性，保证未来系统可灵活扩展；(4)充分遵循“标准和开放”的思想，支持业内相关标准协议 和接口，便于系统扩展和用户对接。第6章项目建设方案6.1基础共性应用支撑能力升级完善基于云化思想对基础的共性组件进行封装，完善共性组件多租户 管理能力，夯实大数据平台的技术赋能，为委办局应用提供数据分析 计算环境和工具。6.L1资源服务能力建设提供开放的、标准的不同形态的资源接入能力，除传统的存储资 源、计算资源以外，将共性组件、API服务等也纳入资源接入范围, 并通过多租户、容器化的模式将大数

5、据平台的服务能力供给相关需求 方，提升集约化水平。6.L2组件服务中心模块通过服务中心实现各类共性组件的接入、发布和管理。包括服务 浏览、服务订阅与退订、组件申请与授权等。6.L3融合共建管理模块通过改造数据分析挖掘工具，设计“不可见”分析环境和数据消 亡机制，实现跨委办局的数据融合分析。通过设计“数据沙箱”，营 造“不可见”分析环境，构建训练态、生产态两态模式：训练态进行 模型训练，而生产态执行模型推理及运算。6.L4资源监管模块基于资源利用和供给情况，对储算资源、应用、组件工具、数据 等多个维度进行监控和分析，以确保当前的IT资源能够发挥最大的 效能。针对共性组件服务的内容和绩效进行分析，

6、并通过可视化大屏 等方式进行展现。多租户管理模块实现基于项目的多租户管理模式，并实现针对项目管理人员和技 术人员的不同用户管理体系。6.2 共享交换平台升级完善升级完善市共享交换平台，实现“数道”与“链道”的对接，提 升市共享交换平台的服务能力。包括以下功能：6.2.1 共享交换平台和目录链的对接整合构建目录链与共享交换平台联动的技术架构，按照目录链上数据 申请和授权的实际情况，自动触发数据交换流程，最大限度减少人工 参与。实现“数道”自动获取“链道”上的数据管控信息，自动完成 数据交换流程配置，并在流程启动后向目录链提供任务完成信息，实现全过程自动化。622提升共享交换平台服务水平在现有文件

7、和库表交换方式外，扩展市共享交换平台服务能力， 建设针对落地数据的接口封装、发布功能，支撑各单位通过接口实现 数据查询、更新和核对服务。该功能应能够对Oracle、MySql等多种不同数据库进行适配和服 务封装；能够实现接口调用的申请、审批、授权等管理过程，并具备 调用控制等安全手段。623现有共享交换流程的控制信息提取根据与目录链对接的技术要求，提取现有7000余个共享交换流 程的管控信息（数据类型、两端前置机/数据库地址、更新方式等）, 并按照与目录链对接标准进行打包存储，形成完整的数据交换管控信 息表。624日志记录上述所有数据管控、接口调用日志应对接到XX市大数据平台日 志中。625多

8、平台适配市共享交换平台目前部署了包括Fiorano和东方通DXP两套 产品，不排除增加或替换新产品的可能，因此，本项目中设计开发的与目录链的对接整合功能，应该能够适配多种交换平台。626跨网络数据共享共享交换平台支持跨网络数据交换，实现社会企业和政府机构之 间的数据共享。6.3 数据治理模块升级完善在数据治理功能建设的基础上，从设计理念、技术架构、建设方 法等多个方面进行优化提升，提供对委办局多租户的服务能力，支撑 委办局建设基础库和主题库，提供一站式全流程数据仓库建设和数据 治理工具，帮助用户建成原始层、标准层、主题层、指标层的标准数 据仓库。面向委办局提供基于AI的智能数据关联、数据主题化

9、加工、 数据探查、数据集成、全域数据治理、全链路自动化血缘、统一数据 标准、算法开发、数据模型建设、数据开发平台等服务化支撑能力。6.3.1 原始层数据建设模块原始层数据建设是抽取源系统的基础数据，形成一个数据缓冲区。 源业务系统的数据可能来自不同类型的数据库以及分布式文件系统 等，需要通过基础数据源将异构数据集成至大数据平台，生成原始层。 针对原始层的数据进行质量评估，通过完整性、准确性、唯一性、一 致性、规范性、时效性等六个维度对基础数据进行质量评估，输出基 础数据质量评估报告，指导源业务部门的数据质量提升。6.3.2 标准层数据建设模块基于原始层的基础数据，结合导入的基础数据标准，通过基

10、础数 据智能关联标准数据元，通过可视化界面配置基础数据清洗加工策略, 按照提取、清洗、关联、比对、标识等规范流程进行数据清洗处理， 实现数据标准化，生成标准层。6.3.3 主题层数据建设模块主题层数据建设以标准数据为根，通过标准牵引、聚合拉通，树 立数据权威，实现“数据搬运方”到“数据赋能方”的转变。将需求 涉及范围内的业务对象从高度概括的概念层次归类，即划分主题域， 再针对各个主题域设计实体-关系图。主题层数据建设模块的数据主 要面向基本事实和基本维度，在粒度上以最细的方式存储，在设计 上遵循第三范式要求，属于数据中心的核心资产。主题层数据建设模 块主要由基础库数据模型、基础库数据血缘、基础

11、库数据模板三大功 能模块构成。6.3.4 指标层数据建设模块指标层数据建设基于主题层权威数据，结合政务创新需求，建设 贴合政务需求的指标模型，为各政务应用提供服务。指标层存储为特 定用户预先计算好的数据，从而满足用户对性能的需求，在一定程度 上缓解访问数据仓库的瓶颈。指标层的特点是数据粒度较粗，数据采取星型或雪花型结构，较少保留历史数据, 便于访问分析和快速查询。指标模型具有面向特定用户群、合理的查 询响应时间、便于扩展的特点。指标层数据建设模块主要有基础库数 据开发、基础库算法开发、基础库工作流三大功能模块构成。6.3.5 数据服务接口封装工具建设大数据服务接口封装工具，能够对落地市大数据管

12、理平台的 数据进行接口封装，并为各委办局提供数据接口调用服务。服务模式 包括数据查询服务、数据更新服务以及数据验证服务。6.3.6 适配能够对Oracle、MySql、SqlServer、Greenplum多种不同数据库的 类型进行适配和接口服务封装。2、数据源管理数据源注册：能够对需要封装接口服务的数据源进行注册，保证 能够对数据源的数据进行安全访问，注册内容包括：信息系统名称、 数据库类型、服务器IP地址、端口号、数据库SID、用户名以及密 码等信息。数据源维护：能够对已注册的数据源进行维护管理，包括数据源 内容的变更、删除等。3、服务注册单条服务注册：针对已经接入到大数据平台的数据，可直

13、接通过 配置界面配置服务接口，包括接口基本信息、输入信息、返回信息以 及返回数据类型等；如果有特殊的需求，可以通过sql的方式写入查 询条件。批量服务注册：提供批量服务导入功能，可通过服务注册模板批 量导入接口服务的配置信息。服务维护：能够对已注册的服务进行维护管理，包括服务内容的 变更、服务停用、服务删除等。4、服务生成数据查询服务：通过选择的数据源以及查询服务接口的配置参数 信息，自动生成数据查询服务接口，外围系统通过传入要查询数据的 关键信息，如编码、数据名称等，依据权限实现返回符合规则的单 条或多条数据结果。数据更新服务：通过选择的数据源以及更新服务接口的配置参数 信息，自动生成数据更

14、新服务接口，外围系统通过传入数据的关键信 息以及区间时间，返回该区间时间的数据变化结果。数据验证服务：通过选择的数据源以及验证服务接口的配置参数 信息，自动生成数据验证服务接口，外围系统通过传入要验证数据的 信息，如编码、数据名称等，返回验证数据是否存在的结果。5、服务检索可通过服务的关键字，如服务接口名称、接口类型等对服务进行 快速检索，同时支持模糊搜索。6、服务同步将配置好的服务接口同步到服务平台，包括接口基本信息、接口 说明和调用实例。接口审核人员对已经提交的注册信息进行审核，审 核后可通过目录链进行发布。7、服务授权需求部门通过大数据目录找到资源点击接口调用申请，申请受理 和审批后，由

15、接口封装工具进行接口访问控制。8、接口调用控制通过接口封装工具定制每类接口每次访问最大调用条数，同时, 用户申请时服务平台设定每天调用每类接口最大调用次数，以此来实 现接口的调用控制，防范恶意调用、大批调用落地的情况，确保数据 的安全性。6.3.7 支撑XX市公共信用数据归集治理支撑XX市公共信用数据归集治理提供数据稽核、清洗工具以及 数据归集情况展示、稽核问题数据下载/在线修改界面。1、问题数据反馈：数据治理工具需要实现对数据提供单位的通 知功能。2、问题数据修改：数据治理工具提供两类修改方式，一种是批 量下载的离线修改，另一种是针对少量问题数据的在线编辑；为方 便数据提供方修改，反馈的问题

16、数据详情包括每条问题数据的稽核规 则和错误内容。3、数据统计信息管理查看：提供相应页面，支持各类人员按权限查看数据量、数据质量等统计信息。目录第1章项目背景1第2章项目总体建设内容1第3章项目已有基础情况23.1 共性组件支撑能力现状23.2 共享交换平台现状33.3 数据治理模块现状33.4 电子证照系统现状4第4章项目建设目标4第5章项目建设原则55.1 继承性和连续性原则65.2 实用性和成熟性原则65.3 可靠性和可维护性原则75.4 兼容性和扩展性原则7第6章项目建设方案86.1 基础共性应用支撑能力升级完善86.1.1 资源服务能力建设86.1.2 组件服务中心模块86.1.3 融

17、合共建管理模块86.1.4 资源监管模块96.1.5 多租户管理模块96.2 共享交换平台升级完善96.4智能搜索模块建设建设一套功能完善的智能搜索引擎，在已有数据资源库及数据资 源目录相关系统基础上，通过对数据结构、链接、内容、标签、关键 词密度的内容优化，为用户提供人性化和智能化的信息检索服务，使 用户能够便捷高效地获取所需信息。包括如下功能模块：6.4智能搜索基础框架底层包括通用搜索引擎、高级检索、二次/渐进检索、分类检索、 关联关系检索、批量比对检索、文本要素检索、历史搜索推荐、搜索 结果导出、多源数据接入、系统配置等功能。642全文检索模块支持根据用户查询条件全文检索相匹配的数据资源

18、目录及文件; 支持按照相关性、时间、发布部门等推荐满足条件的政策文件或数据 信息资源；支持根据数据保密等级设置数据查看权限。包括：基础检 索、模糊检索、组合检索、命名实体检索、批量检索、二次/渐进检 索、同义词搜索、热词搜索等功能。6.4.3 标签检索模块支持标签抽取功能，如公文法规等文档内容的关键字词抽取，自动打标签，实现标签与文本间关系对应，同时为保证标签准确性和扩 展性，支持基于检索结果标签内容的人工自定义标签。支持标签检索功能，基于已抽取或自定义的标签检索对应的政策 文件、数据信息等，系统智能推荐同类标签的其他关联文件和数据。 用户可通过标签链接再次搜索指定标签的文件数据。6.4.4

19、以文搜文模块支持要素提取，针对政策文件等文本，自动提取要素，如：政策 名称、涉及单位、执行时间、签发人等实体要素，构建关注要素与原 文本的关系，打通各类数据间关联。支持文本要素可视化检索，用户输入搜索诉求，系统自动解析搜 索内容中的关键要素进行实体要素的组合检索，实现满足条件的政策 文件、数据信息推荐。6.4.5 语义识别与解析模块支持识别搜索意图，根据用户输入内容自动识别判断输入意图类 型，随着用户的不断输入，反馈的判断（的意图）类型也自动发 生变化。支持相关搜索自动推进，根据输入内容推荐相关的历史搜索，如 高频搜索词汇、输入内容相关搜索高频词汇等。6.4.6 智能范围检索模块支持范围搜索功

20、能，可根据输入条件和检索内容，智能匹配搜索范围和搜索字段;支持用户自行设置搜索范围，搜索范围按类型分类。6.4.7 检索结果智能化多维展示模块支持相关度智能排序，根据搜索意图、权重相关性进行结果优先 排序，将用户最期望的信息优先展示；支持查询结果按照与查询关键 字的相关性进行排序。支持结果详情展示，通过多种检索方式展示检索结果，结果视图 包含源文本内容、标签、要素等多维信息，支持检索结果导出，检索 结果页面支持二次检索。支持结果预览导出，支持检索结果本地化导出，支持公文法规等 数据的源文件在线预览、下载。6.4.8 数据接入模块支持数据索引构建，支持常见的数据库、文本等多源数据快速接 入并构建

21、索引，根据不同需求场景提供多种接入方式，包括全量导 入、增量导入、部分数据导入、部分字段导入等多种方式。支持数据自动清洗，支持基于身份证号、护照号、车牌号、银行 卡号、手机号等字段条件推导的ETL能力，可人工按需指定导数过 程中自动推导转换；提供脏数据过滤、缺失值、不合法字符处理等基 础数据自动清洗能力；支持公文法规等文档批量接入过程中自动抽取 要素并构建关联。支持数据在线上传，支持各类分散数据的在线上传，无需复杂的 定义和模板选择，数据一旦上传即可进行检索，同时可根据不同业 务需要进行数据私有或共享。649用户校正模块基于NLP自然语言识别等技术实现智能检索，支持用户对每次 的检索结果符合度

22、打分、选择结果列表最符合的结果；能够自动记录 用户行为，重新计算模型算法和反复校正，不断提高检索结果的精准 度。国产化适配完成智能搜索模块的国产化适配工作。6.5 电子证照系统升级（1）重新规划数据库结构，根据业务区分数据库结构，将现有 的文件规划存储到文件服务器等。（2）增加现有服务配置，实现多机负载集群部署，增加业务系 统的可用性。（3）重新规划现有电子证照系统的部署结构，实现根据业务、 用户分别提供服务，实现服务的松耦合，避免业务之间交叉影响。6.6 国产化适配协助完成大数据平台相关模块已有部分和升级部分的国产化适配工作。1.1.1 共享交换平台和目录链的对接整合91.1.2 提升共享交

23、换平台服务水平101.1.3 现有共享交换流程的控制信息提取101.1.4 日志记录101.1.5 多平台适配101.1.6 跨网络数据共享116.3 数据治理模块升级完善116.3.1 原始层数据建设模块116.3.2 标准层数据建设模块126.3.3 主题层数据建设模块126.3.4 指标层数据建设模块126.3.5 数据服务接口封装工具136.3.6 支撑XX市公共信用数据归集治理156.4 智能搜索模块建设166.4.1 智能搜索基础框架166.4.2 全文检索模块166.4.3 标签检索模块166.4.4 以文搜文模块176.4.5 语义识别与解析模块176.4.6 智能范围检索模块

24、176.4.7 检索结果智能化多维展示模块186.4.8 数据接入模块186.4.9 用户校正模块196.4.10 国产化适配196.5 电子证照系统升级196.6 国产化适配19第1章项目背景按照市委市政府的统一部署以及XX市大数据行动计划“四梁八 柱深地基”的总体设计思路，依据“边共享、边整合；边应用、边完 善”的建设原则，我局组织系统总体组、专家咨询组进一步深化细化 大数据平台总体设计，历经多轮迭代完善，经专家评审，编制形成了 面向“深地基”的大数据行动计划筑基工程项目方案。筑基工程项目 将基于以目录链为核心的数据全流程管控机制，在充分整合和利用目 录链、共享交换平台、空间平台、驾驶舱等

25、前期已有成果的基础上, 构建较为完善的大数据“汇、管、用、评、安全”全流程一体化能力 体系，打造面向全网络、全流程、全集约、全通道的“四全”能力, 促进数据能够依法、安全、有序、自由地流动，推动各部门业务应用 系统建设模式的高效转变，支撑数字政府、数字经济、领导决策等重 要工作上一个新的台阶。第2章项目总体建设内容本项目作为筑基工程的一部分，主要工作内容包括：一是提升大 数据平台共性组件应用支撑能力，实现租户资源、工具组件的灵活分 配和管理，减少通用工具的重复建设；二是实现目录链与共享交换体 系联动，建立起按规则按需随时取数、汇数的技术支撑体系；三是加 强对全市人、企、物的基础库建设的支撑能力

26、，提供一站式全流程数 据仓库建设和数据治理工具；四是建设一套功能完善的智能搜索引擎, 在已有数据资源库及数据资源目录相关系统基础上，构建知识结构索 引，支持为用户提供人性化和智能化的数据检索服务；五是升级电子 证照系统，实现根据业务、用户分别提供服务，实现服务的松耦合， 增加业务系统的可用性。第3章项目已有基础情况XX市大数据平台依托共享交换平台、目录区块链以及数据治理 模块提供了数据编目、汇聚、管理、清洗和标准化的服务支撑能力, 同时提供了数据全生命周期管理和跨部门的数据融合分析工具，支撑 XX市大数据应用建设。3.1 共性组件支撑能力现状大数据平台已为市领导驾驶舱、商务局生活必需品分析、昌

27、平区 城市大脑等应用提供数据治理和可视化等组件服务。但缺少对各类工 具组件的集约化管理。目前系统依赖各工具组件自身的多租户服务能 力，一方面，各工具之间仅做了用户权限和日志的集成，未实现基础 资源的按需申请和动态扩容；另一方面，缺少跨租户的工作流支撑能 力，无法支撑委办局实施多级租户管理，完成对本部门多个大数据应 用所需租户资源工具组件的灵活分配和管理。3.2 共享交换平台现状市共享交换平台于2006年4月28日上线运行，承载了市大 数据平台的数据交换服务，构建数据汇聚能力，形成市区两级的政务 信息资源共享交换体系，打破部门和行业界限，实现了政务信息资源 的跨部门、跨层级共享。目前共接入87个

28、市级政务部门（包括16 区）；支撑了 4800余项跨部门、跨层级信息的共享交换工作，交换 量累计超过827亿条，2020年日均交换量4000万条左右，为各部 门100多项业务工作提供了支撑。市共享交换平台支持文件、数据库表的定时交换，核心功能是数 据交换管理，实现交换节点之间及交换节点与交换中心之间的政务信 息资源适配、转换和传输等工作，为交换过程的配置、执行、监控 和管理等提供服务，包括数据交换、交换节点管理、交换流程管理和 系统管理等内容。未实现接口服务方式。现阶段，市共享交换平台与目录链通过电子邮件实现线下任务发 起和完成情况反馈，具体为，目录链上生成数据共享任务后向指定邮 件地址自动发

29、送包括资源信息、资源提供方信息、资源获取方信息在 内的电子邮件，市共享交换平台运维人员收到邮件后按照邮件内容联 系供需双方并进行流程配置，实施数据交换，交换完成后向目录链指 定邮件地址发送任务完成反馈邮件。3.3 数据治理模块现状大数据平台数据治理模块提供了数据生命周期的端到端透明化 管控，对数据质量进行管控，为数据清洗和标准化提供工具支撑，具 备数据清洗转换和质量稽核能力，包括数据清洗、数据转换、元数 据管理、数据模型管理、数据标准管理、数据质量管理、数据资产管 理等，支撑了基础数据治理项目和市人大预算联网监督系统等项目。 但现有数据治理模块以数据质量稽核为主，缺少对人、企、物的基础 库建设

30、支撑能力。3.4 电子证照系统现状XX市电子证照系统部署在六里桥政务云平台政务外网区，面向 政务外网提供电子证照的相关服务。已经完成了政务外网、互联网领 域电子证照应用对接共计41家。XX市电子证照系统汇聚国家类证 照348类，XX市地方类证照73类，其中包括：市住建委30类证 照、市药监局15类证照、市市场监管局13类证照、市司法局10类 证照、市规自委7类证照及市卫健委8类证照等。现阶段，各委办 局的电子证照PDF版式文件在电子证照系统中存有的数量约有 100多万张。第4章项目建设目标一是提升大数据平台共性组件应用支撑能力，构建统一的大数据 平台应用支撑能力，为委办局大数据应用提供数据分析

31、计算的环境和 工具组件，实现储算资源、共性组件的快速申请和使用，从而帮助委 办局快速搭建领域大数据平台，减少通用工具的重复建设；二是实现目录链与共享交换体系联动，建立起按规则按需随时取 数、汇数的技术支撑体系，将目录链和共享交换平台在运行流程上结 合到一起，实现全流程自动化，发挥出1+12的效果，同时，在 文件、库表外增加接口方式共享；三是加强对全市人、企、物的基础库建设的支撑能力，提供一站 式全流程数据仓库建设和数据治理工具，形成多维度数据汇入、全要 素数据融合、智能化权威数据认定和跨部门数据高效联动的能力，支 撑委办局建设基础库和主题库，提供一站式全流程数据仓库建设和数 据治理工具，支撑X

32、X市公共信用数据归集治理。四是建设一套功能完善的智能搜索引擎，提供通用搜索、高级检 索、分类检索、关联关系检索、文本要素检索等多元化、深层次数据 搜索功能，并在已有数据资源库及数据资源目录相关系统基础上，通 过对数据结构、链接、内容、标签、关键词密度的内容优化，构建知 识结构索引，支持为用户提供人性化和智能化的数据检索服务，使 用户能够便捷高效地获取所需信息与知识。五是升级电子证照系统，实现根据业务、用户分别提供服务，实 现服务的松耦合，增加业务系统的可用性。第5章项目建设原则大数据平台已积累大量用户，且用户业务系统对原有服务依赖度较高，难以承受系统再造或服务方式变更对业务系统运转产生的影响。 因此，项目中涉及的系统功能扩展和优化完善等工作，须在原有项目