高效可靠的数据服务共享平台

定位于企业数据资源“纵向贯通”、“横向互联”

提供统一平台对多源、多类型数据进行统一的服务化管控
帮助企业更加有效、可靠的使用数据

下载 高效可靠的数据服务共享平台 白皮书

Primeton DSP产品定位

在企业传统信息系统架构模式下,各个部门根据自身的业务的需求,在不同时期不同技术环境下建设各自的应用系统,数据体系也是基于业务单元垂直建立,但随着企业发展,信息化系统建设的越来越多,一方面导致数据规模在快速膨胀,另一方面基于大数据的业务所需要的数据不仅仅是某个垂直单元的或者应用系统的,使用多样、融合的数据才能具备核心竞争力,这样跨垂直单元、跨应用数据建设需求接踵而至。

数据服务共享平台定位于企业数据资源“纵向贯通”、“横向互联”的共享通道,使其成为企业、组织、部门的数据工厂,主要从安全管控、服务治理、服务消费、服务开发效率等系列问题入手,提供统一平台对多源、多类型数据进行统一的服务化管控,帮助企业更加有效、可靠的使用数据。

Primeton DSP产品概述

数据服务共享平台(Data Service Platform,本文档中后续使用简称DSP)基于大数据架构提供统一的数据服务能力,是企业数据资源对外开放的共享通道,平台提供实时接口服务、批量作业服务、文件传输服务,从数据定义、服务开发、服务消费、运行管控四方面着手,实现数据资源的闭环管理。

数据服务共享平台(DSP)产品套件主要包括:Governor(管控平台)、Server(服务引擎)、SSM(服务状态监控)、Studio(可视化开发工具)、Agent(传输代理)、Scheduler(调度引擎)、DataRelease(数据发布引擎)、GatherClient(资源采集客户端),产品功能架构图如下所示。

数据服务

数据服务的本质是业务活动的抽象,业务活动需求由业务人员提出,数据服务开发人员依据需求进行开发和数据服务的共享发布。

数据定义

通过数据定义,一方面可以描述企业数据和服务的分布情况,另一方面,也可作为一种语义层抽象,用于驱动整个企业数据的加工处理过程。

服务开发

平台支持批量作业服务、实时接口服务、文件传输服务三种数据服务形式,并且提供在线、离线两种服务开发方式。过程中可以根据具体业务场景需求,制定服务发布和安全策略。

服务消费

平台为消费者提供数据预览、申请、审批等功能,具备单个、批量申请的能力,具备向消费方推送或由消费方拉取的服务方式;提供数据流量、权限和优先级的服务控制;支持按照计划、事件触发等多种方式进行服务调度。

运行管控

实现对数据服务全生命周期管理、调度、监控等;通过权限控制验证是否有权限访问数据;对提取的关键数据进行脱敏处理,保障数据安全性;实现对数据流向、批量任务、接口、文件传输等服务的监控。

Primeton DSP客户价值

数据服务共享平台提供资源目录服务、多类型数据服务化的开发、数据资源调度服务、数据接入及访问服务。为对数据资源有存取需求、调度需求的业务应用提供统一服务,帮助客户逐步实现数据服务规范化和标准化。数据服务共享平台不仅仅是技术工具,更是重要的数据运营平台,通过数据服务平台,降低业务对技术依赖,充分发挥业务创新潜能。

统一的数据资源目录

为企业可交换资源提供统一的注册管理方案,实现技术元数据的自动获取,支持业务元数据的定义,提供资源搜索及血缘分析。实现信息资源的统一发布和集中访问。

统一的数据共享通道

建立公司统一的纵向数据共享通道,提供跨系统、跨单位、跨区域的数据集成、交换、分发、共享机制和平台能力,支持结构化、半结构化、非结构化数据以及大文件的多级交换。

统一的数据交换标准

从服务集成、数据集成、文件传输和数据管理等多个方面,定义统一的标准和规范,并在实施过程中,积累更多符合自身发展的、可复制的最佳实践,不断沉淀、改进和评估,提高系统间集成效率,降低各系统运维成本。

统一调度管理

提供灵活的、多角度的模型作业调度机制,通过简单、灵活、易用的配置管理模式,减轻运维管理工作量,实现运维自动化。帮助运维管理人员更加方便、全面地了解数据交换的运行情况,有助于迅速定位和排除故障,为及时主动的业务优化提供方向。

统一的数据运行监控和安全保障体系

提供数据服务发布、访问授权和运行监控的统一管理。从保障应用系统和数据安全出发,从技术和管理两方面提供事前预防、事中控制和事后追溯能力。

Primeton DSP关键特性

支持结构化数据、非结构化
数据文件数据的共享发布

支持Oracle、Mysql、SQLServer数据库、HBase、Hive数据发布为RESTFul服务或者通过批量作业服务进行数据共享;支持文件资源服务注册发与服务发布,支持以文件传输和批量作业方式传输文件资源。

支持单表、结果集等形式的
实时接口服务发布

数据服务共享平台基于微服务架构的数据服务发布组件,支持单表、结果集等形式的实时接口服务发布,将数据库资源由底层编码的方式转变RESTFul服务的方式提供给消费者。

支持在线、离线、模板等
多种开发形式

支持HBase到文件同步、全文对比同步、全量同步、数据库到文件同步、数据脱敏、文件到数据库同步、时间戳同步、触发器同步;支持Studio开发而后部署;提供模板开发标准,用户可以定制通用模板

提供多视角、全链路数据资
源使用状况管控

数据服务共享平台从系统管理、服务开发、服务消费等多个视角对数据服务使用状况进行全链路管控。对数据源、前置区、共享区、消费方四个区域的资源进行全链路管控

元数据驱动实现
数据资源目录

数据服务共享平台基于元数据驱动实现数据资源目录管理,支持元数据自动采集、数据分类管理、数据服务开发与注册、数据服务浏览与审批。

支持
大文件传输

数据服务共享平台基于大文件传输架构实现文件传输服务,支持断点续传、脱敏、加密等能力,大文件传输用于源到前置区和前置区到共享区的文件交换。

统一的
作业调度中心

数据服务共享平台提供统一的作业调度中心,实现对批量作业服务、文件传输服务的调度管理。

提供多视角、全链路数据
资源使用状况管控

数据服务共享平台从功能权限、客户端权限、服务权限等几个方面实现数据服务安全管理。

客户案例

某政府大数据自服务共享平台

自助数据、数据服务化、数据协同、数据工作台

实现了数据流整体监控以及数据的资产化,资产的服务化,以及数据服务的共享和监控

国家电网自助大数据平台

自助制作报表的比例由85张扩大到510张

实现业务人员自助数据检索、查询,形成数据服务共享应用生态:实现业务人员的自助分析

我是普元顾问,欢迎与我在线交流。
在线咨询