騰訊Angel平臺是騰訊第三代的計(jì)算平臺，一個(gè)基于參數(shù)服務(wù)器(Parameter Server)理念開發(fā)的高性能分布式機(jī)器學(xué)習(xí)平臺，它基于騰訊內(nèi)部的海量數(shù)據(jù)進(jìn)行了反復(fù)的調(diào)優(yōu)，并具有廣泛的適用性和穩(wěn)定性，模型維度越高，優(yōu)勢越明顯。 Angel 由騰訊和北京大學(xué)聯(lián)合開發(fā)，兼顧了工業(yè)界的高可用性和學(xué)術(shù)界的創(chuàng)新性。

騰訊Angel平臺介紹
Angel是騰訊大數(shù)據(jù)部門發(fā)布的第三代計(jì)算平臺，是用 Java 和 Scala 語言開發(fā)的面向機(jī)器學(xué)習(xí)的高性能分布式計(jì)算框架。騰訊Angel平臺采用了參數(shù)服務(wù)器架構(gòu)，解決了上一代框架的擴(kuò)展性問題，支持?jǐn)?shù)據(jù)并行及模型并行的計(jì)算模式，能支持十億級別維度的模型訓(xùn)練。
Angel 的核心設(shè)計(jì)理念圍繞模型。它將高維度的大模型合理切分到多個(gè)參數(shù)服務(wù)器節(jié)點(diǎn)，并通過高效的模型更新接口和運(yùn)算函數(shù)，以及靈活的同步協(xié)議，輕松實(shí)現(xiàn)各種高效的機(jī)器學(xué)習(xí)算法。
Angel 基于 Java 和 Scala 開發(fā)，能在社區(qū)的 Yarn 上直接調(diào)度運(yùn)行，并基于 PS Service ，支持 Spark on Angel ，未來將會支持圖計(jì)算和深度學(xué)習(xí)框架集成。

騰訊Angel平臺新特性：
1.ParameterServer 功能
基于 Matrix/Vector 的模型自動切分和管理，兼顧稀疏和稠密兩種格式
支持對 Model 進(jìn)行 Push 和 Pull 操作，可以自定義復(fù)雜的 psFunc
提供多種同步控制機(jī)制(BSP/SSP/ASP)
2. 開發(fā)運(yùn)行
語言支持：系統(tǒng)基于 Scala 和 Java 開發(fā)，用戶也可以自由選擇
部署方便：可以直接在 Yarn 社區(qū)版本中運(yùn)行，也支持本地調(diào)試模式
數(shù)據(jù)切分: 自動切分讀取訓(xùn)練數(shù)據(jù)，默認(rèn)兼容了 Hadoop FS 接口
增量訓(xùn)練：訓(xùn)練過程中會自動 Checkpoint，而且支持加載模型后，增量訓(xùn)練
3.PS Service
只啟動 PSServer 和 PSAngent，為其他分布式計(jì)算平臺提供 PS 服務(wù)
基于 PS-Service，不需要修改 Spark 核心代碼，直接開發(fā) Spark-on-Angel 算法，該模式無縫支持 Breeze 數(shù)值運(yùn)算庫
4. 算法庫
集成 Logistic Regression，SVM，KMeans，LDA，MF，GBDT 等機(jī)器學(xué)習(xí)算法
多種優(yōu)化方法，包括 ADMM，OWLQN，LBFGS 和 GD
支持多種損失函數(shù)、評估指標(biāo)，包含 L1、L2 正則項(xiàng)
5. 算法優(yōu)化
LDA 采用了 F+LDA 算法用于加速采樣的速度，同時(shí)利用流式參數(shù)獲取的方法減少網(wǎng)絡(luò)參數(shù)獲取的延遲
GBDT 使用兩階段樹分裂算法，將部分計(jì)算轉(zhuǎn)移到 PS，減少網(wǎng)絡(luò)傳輸，提升速度