DataSphere Studio（簡稱DSS）是微眾銀行自研的一站式數(shù)據(jù)應(yīng)用開發(fā)管理門戶。

DataSphereStudio一站式數(shù)據(jù)應(yīng)用開發(fā)管理門戶基于插拔式的集成框架設(shè)計，及計算中間件 Linkis ，可輕松接入上層各種數(shù)據(jù)應(yīng)用系統(tǒng)，讓數(shù)據(jù)開發(fā)變得簡潔又易用。

在統(tǒng)一的UI下，DataSphere Studio以工作流式的圖形化拖拽開發(fā)體驗，將滿足從數(shù)據(jù)交換、脫敏清洗、分析挖掘、質(zhì)量檢測、可視化展現(xiàn)、定時調(diào)度到數(shù)據(jù)輸出應(yīng)用等，數(shù)據(jù)應(yīng)用開發(fā)全流程場景需求。

DSS通過插拔式的集成框架設(shè)計，讓用戶可以根據(jù)需要，簡單快速替換DSS已集成的各種功能組件，或新增功能組件。

借助于 Linkis 計算中間件的連接、復(fù)用與簡化能力，DSS天生便具備了金融級高并發(fā)、高可用、多租戶隔離和資源管控等執(zhí)行與調(diào)度能力。

核心特點

DSS主要特點：

一、一站式、全流程的應(yīng)用開發(fā)管理界面

DSS集成度極高，目前已集成的系統(tǒng)有：

1、數(shù)據(jù)開發(fā)IDE工具——Scriptis

2、數(shù)據(jù)可視化工具——Visualis（基于宜信Davinci二次開發(fā)）

3、數(shù)據(jù)質(zhì)量管理工具——Qualitis

4、工作流調(diào)度工具——Azkaban

DSS插拔式的框架設(shè)計模式，允許用戶快速替換DSS已集成的各個Web系統(tǒng)。如：將Scriptis替換成Zeppelin，將Azkaban替換成DolphinScheduler。

二、基于Linkis計算中間件，打造獨有的AppJoint設(shè)計理念

AppJoint，是DSS可以簡單快速集成各種上層Web系統(tǒng)的核心概念。

AppJoint——應(yīng)用關(guān)節(jié)，定義了一套統(tǒng)一的前后臺接入規(guī)范，可讓外部數(shù)據(jù)應(yīng)用系統(tǒng)快速簡單地接入，成為DSS數(shù)據(jù)應(yīng)用開發(fā)中的一環(huán)。

DSS通過串聯(lián)多個AppJoint，編排成一條支持實時執(zhí)行和定時調(diào)度的工作流，用戶只需簡單拖拽即可完成數(shù)據(jù)應(yīng)用的全流程開發(fā)。

由于AppJoint對接了Linkis，外部數(shù)據(jù)應(yīng)用系統(tǒng)因此具備了資源管控、并發(fā)限流、用戶資源管理等能力，且允許上下文信息跨系統(tǒng)級共享，徹底告別應(yīng)用孤島。

三、Project級管理單元

以Project為管理單元，組織和管理各數(shù)據(jù)應(yīng)用系統(tǒng)的業(yè)務(wù)應(yīng)用，定義了一套跨數(shù)據(jù)應(yīng)用系統(tǒng)的項目協(xié)同開發(fā)通用標準。

四、已集成的數(shù)據(jù)應(yīng)用組件

DSS通過實現(xiàn)多個AppJoint，已集成了豐富多樣的各種上層數(shù)據(jù)應(yīng)用系統(tǒng)，基本可滿足用戶的數(shù)據(jù)開發(fā)需求。

用戶如果有需要，也可以輕松集成新的數(shù)據(jù)應(yīng)用系統(tǒng)，以替換或豐富DSS的數(shù)據(jù)應(yīng)用開發(fā)流程。

1、DSS的調(diào)度能力——Azkaban AppJoint

用戶的很多數(shù)據(jù)應(yīng)用，通常希望具備周期性的調(diào)度能力。

目前市面上已有的開源調(diào)度系統(tǒng)，與上層的其他數(shù)據(jù)應(yīng)用系統(tǒng)整合度低，且難以融通。

DSS通過實現(xiàn)Azkaban AppJoint，允許用戶將一個編排好的工作流，一鍵發(fā)布到Azkaban中進行定時調(diào)度。

DSS還為調(diào)度系統(tǒng)定義了一套標準且通用的DSS工作流解析發(fā)布規(guī)范，讓其他調(diào)度系統(tǒng)可以輕松與DSS實現(xiàn)低成本對接。

2、數(shù)據(jù)開發(fā)——Scriptis AppJoint

什么是Scriptis?

Scriptis是一款支持在線寫SQL、Pyspark、HiveQL等腳本，提交給Linkis執(zhí)行的數(shù)據(jù)分析Web工具，且支持UDF、函數(shù)、資源管控和智能診斷等企業(yè)級特性。

Scriptis AppJoint為DSS集成了Scriptis的數(shù)據(jù)開發(fā)能力，并允許Scriptis的各種腳本類型，作為DSS工作流的節(jié)點，參與到應(yīng)用開發(fā)的流程中。

目前已支持HiveSQL、SparkSQL、Pyspark、Scala等腳本節(jié)點類型。

3、數(shù)據(jù)可視化——Visualis AppJoint

什么是Visualis?

Visualis是一個基于宜信開源項目Davinci二次開發(fā)的數(shù)據(jù)可視化BI工具，為用戶在數(shù)據(jù)安全和權(quán)限方面，提供金融級數(shù)據(jù)可視化能力。

Visualis AppJoint為DSS集成了Visualis的數(shù)據(jù)可視化能力，并允許數(shù)據(jù)大屏和儀表盤，作為DSS工作流的節(jié)點，與上游的數(shù)據(jù)集市關(guān)聯(lián)起來。

4、數(shù)據(jù)質(zhì)量——Qualitis AppJoint

Qualitis AppJoint 為DSS集成數(shù)據(jù)質(zhì)量校驗?zāi)芰?，將?shù)據(jù)質(zhì)量系統(tǒng)集成到DSS工作流開發(fā)中，對數(shù)據(jù)完整性、正確性等進行校驗。

5、數(shù)據(jù)發(fā)送——Sender AppJoint

Sender AppJoint為DSS集成數(shù)據(jù)發(fā)送能力，目前支持SendEmail節(jié)點類型，所有其他節(jié)點的結(jié)果集，都可以通過郵件發(fā)送。

例如：SendEmail節(jié)點可直接將Display數(shù)據(jù)大屏作為郵件發(fā)送出來。

6、信號節(jié)點——Signal AppJoint

EventChecker AppJoint用于強化業(yè)務(wù)與流程之間的解耦和相互關(guān)聯(lián)。

DataChecker節(jié)點：檢查庫表分區(qū)是否存在。

EventSender: 跨工作流和工程的消息發(fā)送節(jié)點。

EventReceiver: 跨工作流和工程的消息接收節(jié)點。

7、功能節(jié)點

空節(jié)點、子工作流節(jié)點。

8、節(jié)點擴展

根據(jù)需要，用戶可以簡單快速替換DSS已集成的各種功能組件，或新增功能組件。

使用場景

DataSphere Studio適用于以下場景：

1. 正在籌建或初步具備大數(shù)據(jù)平臺能力，但無任何數(shù)據(jù)應(yīng)用工具的場景。

2. 已具備大數(shù)據(jù)基礎(chǔ)平臺能力，且僅有少數(shù)數(shù)據(jù)應(yīng)用工具的場景。

3. 已具備大數(shù)據(jù)基礎(chǔ)平臺能力，且擁有全部數(shù)據(jù)應(yīng)用工具，但工具間尚未打通，用戶使用隔離感強、學(xué)習(xí)成本高的場景。

4. 已具備大數(shù)據(jù)基礎(chǔ)平臺能力，且擁有全部數(shù)據(jù)應(yīng)用工具，部分工具已實現(xiàn)對接，但尚未定義統(tǒng)一規(guī)范的場景。