1. 概要
 
OTS是構(gòu)建在阿里云飛天分布式系統(tǒng)上的NoSQL存儲服務(wù)，提供海量結(jié)構(gòu)化數(shù)據(jù)的存儲和實時訪問。OTS以實例和表來組織數(shù)據(jù)，通過自動的數(shù)據(jù)分區(qū)和負載均衡技術(shù)，對應用提供規(guī)模（數(shù)據(jù)和訪問）的無縫擴展。應用通過調(diào)用OTS API/SDK或者操作管理控制臺來使用OTS服務(wù)。OTS服務(wù)具有以下幾個主要的特點：
 
規(guī)?？蓴U展：OTS具備可擴展的服務(wù)能力，隨著應用表的數(shù)據(jù)量和訪問量逐漸增大，OTS會自動進行數(shù)據(jù)分區(qū)的調(diào)整（partition split/merge）來滿足應用業(yè)務(wù)規(guī)模的增長，并且保持穩(wěn)定的性能。OTS提供預留讀寫吞吐率的機制來讓應用配置表上的資源，應用通過主動配置和調(diào)整表上的預留讀寫吞吐率來應對業(yè)務(wù)訪問量的變化，從而獲得更有保障的服務(wù)。
 
高可靠可用：OTS的數(shù)據(jù)存儲在底層的分布式文件系統(tǒng)上，數(shù)據(jù)有3份拷貝，分別位于不同的容錯區(qū)（機架或者數(shù)據(jù)中心），當硬件出現(xiàn)故障導致數(shù)據(jù)備份的損壞或丟失時，分布式文件系統(tǒng)會自動發(fā)現(xiàn)、復制并恢復數(shù)據(jù)備份，保障數(shù)據(jù)的安全可靠。OTS系統(tǒng)會自動檢測硬件故障（如機器宕機或者網(wǎng)絡(luò)中斷）并進行數(shù)據(jù)分區(qū)的實時遷移，保障服務(wù)的高可用性。
 
性能可預期：OTS服務(wù)底層采用全SSD存儲數(shù)據(jù)，單行數(shù)據(jù)讀寫請求的延時保持在幾個毫秒級別。應用通過配置預留讀寫吞吐率來預留資源，保障請求并發(fā)量和延時的穩(wěn)定性。
 
靈活的數(shù)據(jù)模型：OTS表中的數(shù)據(jù)無固定格式要求，每行的列數(shù)和列名可以不相同，列值支持5種數(shù)據(jù)類型：Integer、Boolean、Double、String、Binary。每一行的列可以動態(tài)增加或者刪除，沒有額外修改schema的代價。
 
讀寫強一致性：相對于最終一致性而言，OTS提供強一致性的讀寫操作。OTS保證數(shù)據(jù)寫入操作一旦執(zhí)行完成，返回成功的結(jié)果，應用就能立即讀到最新的數(shù)據(jù)。強一致性為應用提供了更好的使用體驗。
 
訪問安全：OTS 對應用的每一次請求都進行身份認證和鑒權(quán)，以防止數(shù)據(jù)被非法用戶或者未授權(quán)的用戶訪問，確保數(shù)據(jù)的安全性。通過和阿里云RAM服務(wù)的結(jié)合，OTS為應用提供帳號之間的授權(quán)訪問。
 
全托管服務(wù)：OTS對于應用而言是一個全托管的服務(wù)，應用程序無需關(guān)心表的數(shù)據(jù)分區(qū)的管理工作，集群硬件維護，軟件升級，配置更新和調(diào)優(yōu)，集群擴容等繁瑣的運維任務(wù)，節(jié)省了應用開發(fā)和維護的成本，讓用戶能夠?qū)Ｐ脑趹脴I(yè)務(wù)層的開發(fā)上。
 
按量付費：OTS 根據(jù)應用預留和實際使用的資源進行計費，不需要在業(yè)務(wù)發(fā)展初期就進行過多的投入，對于眾多的創(chuàng)業(yè)開發(fā)人員來說起步門檻低。OTS的收費項包括：1）預留CU費用；2）數(shù)據(jù)存儲費用；3）下行流量的費用。
 
2. 系統(tǒng)架構(gòu)

OTS服務(wù)的系統(tǒng)架構(gòu)分為四層，最上層是應用程序，應用通過調(diào)用各種語言的SDK來和OTS服務(wù)進行交互；第二層是用戶服務(wù)層，這一層完成的功能是對應用發(fā)送的請求進行協(xié)議處理、身份權(quán)限的校驗、資源計量和請求到后端存儲引擎節(jié)點的路由；第三層是存儲引擎層，負責表分區(qū)的擴展和管理、負載均衡、存儲數(shù)據(jù)和索引的管理、故障的處理以及高可用容災等方面的；最下面一層是飛天操作系統(tǒng)，負責管理底層的硬件資源，向上提供統(tǒng)一的分布式存儲（盤古）和計算（伏曦）。
 
其中下面三層運行在阿里云數(shù)據(jù)中心的物理集群上，對應用程序透明，最上面一層是用戶的程序，通常運行在阿里云的ECS服務(wù)器以獲得更好的訪問OTS的性能，當然也可以運行在用戶自己的物理服務(wù)器或者移動設(shè)備上（我們目前正在開發(fā)移動端的OTS SDK，包括Android和iOS）。
 
3. 功能介紹
 
OTS產(chǎn)品提供以下RESTful API：
 
1）CreateTable（創(chuàng)建表）；
2）DeleteTable（刪除表）；
3）ListTable（列舉表）；
4）DescribeTable（獲取表信息）；
5）UpdateTable（更新表設(shè)置）；
6）GetRow（讀取一行）；
7）PutRow（插入一行）；
8）UpdateRow（更新一行中的數(shù)據(jù)）；
9）DeleteRow（刪除一行）；
10）BatchGetRow（批量讀取行數(shù)據(jù)）；
11）BatchWriteRow（批量寫入行數(shù)據(jù)）；
12）GetRange（讀取范圍內(nèi)的數(shù)據(jù)）；
 
OTS提供了Java/Python/C#/PHP四種語言的SDK，方便應用快速開發(fā)基于OTS的應用。更多關(guān)于API/SDK的內(nèi)容請參考：https://docs.aliyun.com/?spm=5176.383723.9.6.BASvKj#/pub/ots
 
4. 場景案例;
 
OTS服務(wù)目前被廣泛的使用在阿里巴巴集團的各個業(yè)務(wù)中，積累了幾個PB的數(shù)據(jù)，最大的一個應用每天會寫入百TB級別的數(shù)據(jù)，比較典型的幾個業(yè)務(wù)場景如下：
 
阿里云郵箱的后臺存儲：郵件的標題、發(fā)件人、收件人、時間、狀態(tài)等等（不包括郵件正文和附件），使用OTS表對用戶的郵件按照各種規(guī)則排序，分頁讀取郵件，數(shù)據(jù)量近百TB，。
 
來往/釘釘?shù)暮笈_存儲：存儲來往/釘釘應用的用戶通訊錄，實時消息推送，電話會議實時通知等等。
 
 
阿里云監(jiān)控的后臺存儲：存儲海量的原始監(jiān)控metric數(shù)據(jù)以及匯總數(shù)據(jù)。
 
支付寶的微貸風控存儲：存儲淘寶買賣家的信用風控數(shù)據(jù)，用于每一筆花唄交易的風險評估
 
阿里健康藥品監(jiān)管碼存儲：存儲中國藥品的監(jiān)管碼，用于查詢藥品的基本信息和追蹤藥品的流通情況，目前的存儲量已達近千億條記錄，日均訪問百億次。
 
 
此外，OTS還作為大規(guī)模分布式系統(tǒng)的基礎(chǔ)組件被應用在阿里集團的多個產(chǎn)品架構(gòu)中，例如大規(guī)模數(shù)據(jù)分析服務(wù)ODPS的meta存儲和管理，大規(guī)模日志服務(wù)SLS的底層存儲等。

PS：關(guān)于飛天平臺
阿里云計算有限公司（簡稱“阿里云”）成立于2009年9月10日，致力于打造云計算的基礎(chǔ)服務(wù)平臺，注重為中小企業(yè)提供大規(guī)模、低成本、高可靠的云計算應用及服務(wù)。飛天開放平臺（簡稱“飛天平臺”或者“飛天”）是由阿里云自主研發(fā)完成的公共云計算平臺，該平臺所提供的服務(wù)于2011年7月28日在http://www.aliyun.com正式上線，推出了第一個云服務(wù)——彈性計算服務(wù)。

飛天平臺內(nèi)核包含的模塊可以分為以下幾部分。
分布式系統(tǒng)底層服務(wù)：提供分布式環(huán)境下所需要的協(xié)調(diào)服務(wù)、遠程過程調(diào)用、安全管理和資源管理的服務(wù)。這些底層服務(wù)為上層的分布式文件系統(tǒng)、任務(wù)調(diào)度等模塊提供支持。
分布式文件系統(tǒng)：提供一個海量的、可靠的、可擴展的數(shù)據(jù)存儲服務(wù)，將集群中各個節(jié)點的存儲能力聚集起來，并能夠自動屏蔽軟硬件故障，為用戶提供不間斷的數(shù)據(jù)訪問服務(wù)；支持增量擴容和數(shù)據(jù)的自動平衡，提供類似于POSIX的用戶空間文件訪問API，支持隨機讀寫和追加寫的操作。
任務(wù)調(diào)度：為集群系統(tǒng)中的任務(wù)提供調(diào)度服務(wù)，同時支持強調(diào)響應速度的在線服務(wù)(Online Service)和強調(diào)處理數(shù)據(jù)吞吐量的離線任務(wù)(Batch Processing Job)；自動檢測系統(tǒng)中故障和熱點，通過錯誤重試、針對長尾作業(yè)并發(fā)備份作業(yè)等方式，保證作業(yè)穩(wěn)定可靠地完成。
集群監(jiān)控和部署：對集群的狀態(tài)和上層應用服務(wù)的運行狀態(tài)和性能指標進行監(jiān)控，對異常事件產(chǎn)生警報和記錄；為運維人員提供整個飛天平臺以及上層應用的部署和配置管理，支持在線集群擴容、縮容和應用服務(wù)的在線升級。

最新評論