聯(lián)邦學(xué)習(xí)FedAvg中模型聚合過(guò)程的理解分析
問(wèn)題
聯(lián)邦學(xué)習(xí)原始論文中給出的FedAvg的算法框架為：
參數(shù)介紹： K 表示客戶端的個(gè)數(shù)， B表示每一次本地更新時(shí)的數(shù)據(jù)量， E 表示本地更新的次數(shù)， η表示學(xué)習(xí)率。
首先是服務(wù)器執(zhí)行以下步驟：
對(duì)每一個(gè)本地客戶端來(lái)說(shuō)，要做的就是更新本地參數(shù)，具體來(lái)講：
- 把自己的數(shù)據(jù)集按照參數(shù)B分成若干個(gè)塊，每一塊大小都為B。
- 對(duì)每一塊數(shù)據(jù)，需要進(jìn)行E輪更新：算出該塊數(shù)據(jù)損失的梯度，然后進(jìn)行梯度下降更新，得到新的本地 w 。
- 更新完后 w w w將被傳送到中央服務(wù)器，服務(wù)器整合所有客戶端計(jì)算出的 w，得到最新的全局模型參數(shù) wt+1
- 客戶端收到服務(wù)器發(fā)送的最新全局參數(shù)模型參數(shù)，進(jìn)行下一次更新。
我們仔細(xì)觀察server的最后一步：
聚合
那么針對(duì)聚合，就有以下兩種情況。
1. 聚合所有客戶端
服務(wù)器端每次將新的全局模型發(fā)送給全部客戶端，并且聚合全部客戶端的模型參數(shù)。如果客戶端未被選中，那么一輪通信結(jié)束后，該客戶端的模型為一輪通信開(kāi)始時(shí)從服務(wù)器獲得的初始模型。
設(shè)當(dāng)前全局模型為 wt，服務(wù)器選中了 m個(gè)客戶端（集合V），m個(gè)客戶端本地更新完畢后，服務(wù)器端的聚合公式為：
也就是說(shuō)，每一次聚合時(shí)服務(wù)器端都將所有客戶端的模型考慮在內(nèi)。
2. 僅聚合被選中的客戶端
服務(wù)器每次只是將當(dāng)前新的參數(shù)傳遞給被選中的模型，并且只是聚合被選中客戶端的模型參數(shù)。
設(shè)當(dāng)前全局模型為 wt，服務(wù)器選中了 m 個(gè)客戶端（集合V），然后將wt?只發(fā)送給這 m個(gè)客戶端。 m m m個(gè)客戶端訓(xùn)練完畢后，服務(wù)器端的聚合公式為：
3. 選擇
雖然原始論文中對(duì)所有K個(gè)客戶端都進(jìn)行了聚合，但在真正實(shí)現(xiàn)時(shí)，感覺(jué)用第二種會(huì)更好一點(diǎn)，因?yàn)槿绻蛻舳藬?shù)量很龐大，每一次通信都會(huì)有不小的代價(jià)，用第二種會(huì)明顯降低通信成本。
以上就是FedAvg中模型聚合過(guò)程的理解分析的詳細(xì)內(nèi)容，更多關(guān)于FedAvg模型聚合的資料請(qǐng)關(guān)注腳本之家其它相關(guān)文章！
相關(guān)文章
找了一個(gè)和諧工具，運(yùn)行和諧工具后，看IDM關(guān)于那里，已經(jīng)是全功能版本，美中不足的是，IDM運(yùn)行一段時(shí)間，就會(huì)彈出neg窗口，說(shuō)文件被修改，最好是去官網(wǎng)下載原版的提示，就這個(gè)問(wèn)題怎么處理呢？對(duì)IDM 6.40.11.2 彈窗的解決思路感興趣的朋友跟隨小編一起看看吧2023-01-01
解讀Base64編碼中為什么會(huì)有等號(hào)(=)問(wèn)題
這篇文章主要介紹了解讀Base64編碼中為什么會(huì)有等號(hào)(=)問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-03-03
網(wǎng)絡(luò)編程基礎(chǔ)（局域網(wǎng)、ip、子網(wǎng)掩碼、網(wǎng)關(guān)、DNS）概念理解
這篇文章主要介紹了網(wǎng)絡(luò)編程基礎(chǔ)（局域網(wǎng)、ip、子網(wǎng)掩碼、網(wǎng)關(guān)、DNS）概念理解,包括局域網(wǎng)的構(gòu)成、IP地址的分類(lèi)和作用、子網(wǎng)掩碼的作用以及網(wǎng)絡(luò)通信規(guī)則等2025-02-02
這篇文章主要介紹了git checkout 命令使用詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-07-07
解決使用IDE Run運(yùn)行出錯(cuò)package pack/test is not in GOROOT (/usr/loca
這篇文章主要介紹了解決使用IDE Run運(yùn)行出錯(cuò)package pack/test is not in GOROOT (/usr/local/go/src/pack/test),本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-11-11
使用 tke-autoscaling-placeholder 實(shí)現(xiàn)秒級(jí)彈性伸縮的方法
這篇文章主要介紹了使用 tke-autoscaling-placeholder 實(shí)現(xiàn)秒級(jí)彈性伸縮的方法，本文通過(guò)實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2021-01-01
JSON即JS對(duì)象簡(jiǎn)譜 , 是一種輕量級(jí)的數(shù)據(jù)交換格式,Java官方?jīng)]有提供JSON解析相應(yīng)的API,本文提供兩個(gè)最常用的JSON解析方法,分別是Google的Gson,阿里的FastJson,使用JSON解析之前要先獲取相應(yīng)的jar包,感興趣的朋友一起看看吧2023-08-08
HTTP協(xié)議是基于請(qǐng)求／響應(yīng)范式的。一個(gè)客戶機(jī)與服務(wù)器建立連接后，發(fā)送一個(gè)請(qǐng)求給服務(wù)器，請(qǐng)求方式的格式為，統(tǒng)一資源標(biāo)識(shí)符、協(xié)議版本號(hào)，后邊是MIME信息包括請(qǐng)求修飾符、客戶機(jī)信息和可能的內(nèi)容。2011-02-02
unicode utf-8 gb18030 gb2312 gbk各種編碼對(duì)比
在修改一個(gè)cms的過(guò)程當(dāng)中遇到一個(gè)php截取字符串的函數(shù)（當(dāng)然得兼容中英字符了），因?yàn)閷?duì)各種編碼的字符范圍和字符表示不清楚，感覺(jué)一頭迷霧，雖然可以直接來(lái)調(diào)用這個(gè)函數(shù)2009-05-05
DeepSeek R1本地化部署 Ollama + Chatbox 如
文章介紹了如何在本地部署DeepSeekR1模型并使用Chatbox進(jìn)行交互,使用戶能夠擁有強(qiáng)大的AI工具,感興趣的朋友跟隨小編一起看看吧2025-02-02