深度神經網絡(DNNs)使計算機能夠在許多不同的應用中脫穎而出,如圖像分類、語音識別和機器人控製。為了加快DNN的訓練和服務,並行計算被廣泛采用。向外擴展時,係統效率是一個大問題。在這次演講中,我將對分布式DNN訓練和服務中更好的係統效率提出三個論點。

首先,對於模型同步,Ring All-Reduce不是最優的,但Blink是。通過打包生成樹而不是形成環,Blink可以在任意網絡環境中實現更高的靈活性,並提供近乎最優的網絡吞吐量。Blink是一項美國專利,目前正在被微軟使用。Blink獲得了許多業內人士的關注,比如Facebook(分布式PyTorch團隊)、字節跳動(TikTok應用的母公司)。Blink還登上了英偉達GTC中國2019以及百度、騰訊等的新聞。

其次,通過sensAI的類並行性可以消除通信。sensAI將多任務模型解耦到斷開的子網中,每個子網負責單個任務的決策。sensAI的低延遲、實時模式服務吸引了灣區的幾家風險投資公司。

第三,小波變換比分組調度更有效。通過有意地增加任務啟動延遲,小波變換在加速器上不同訓練波的內存使用峰值之間交錯,從而提高了計算和設備上的內存使用。

【伯克利Guanhua Wang博士論文】分布式機器學習係統的顛覆性研究

"> 【伯克利Guanhua Wang】分布式機器學習係統的顛覆性研究,附210頁Slides與博士論文 - 專知VIP

深度神經網絡(DNNs)使計算機能夠在許多不同的應用中脫穎而出,如圖像分類、語音識別和機器人控製。為了加快DNN的訓練和服務,並行計算被廣泛采用。向外擴展時,係統效率是一個大問題。在這次演講中,我將對分布式DNN訓練和服務中更好的係統效率提出三個論點。

首先,對於模型同步,Ring All-Reduce不是最優的,但Blink是。通過打包生成樹而不是形成環,Blink可以在任意網絡環境中實現更高的靈活性,並提供近乎最優的網絡吞吐量。Blink是一項美國專利,目前正在被微軟使用。Blink獲得了許多業內人士的關注,比如Facebook(分布式PyTorch團隊)、字節跳動(TikTok應用的母公司)。Blink還登上了英偉達GTC中國2019以及百度、騰訊等的新聞。

其次,通過sensAI的類並行性可以消除通信。sensAI將多任務模型解耦到斷開的子網中,每個子網負責單個任務的決策。sensAI的低延遲、實時模式服務吸引了灣區的幾家風險投資公司。

第三,小波變換比分組調度更有效。通過有意地增加任務啟動延遲,小波變換在加速器上不同訓練波的內存使用峰值之間交錯,從而提高了計算和設備上的內存使用。

【伯克利Guanhua Wang博士論文】分布式機器學習係統的顛覆性研究

成為VIP會員查看完整內容
19
30

相關內容

分布式機器學習研究將具有大規模數據量和計算量的任務分布式地部署到多台機器上,其核心思想在於“分而治之”,有效提高了大規模數據計算的速度並節省了開銷。
【伯克利Alvin Wan博士論文】高效設計深度神經網絡
專知會員服務
45+閱讀 · 5月21日
專知會員服務
23+閱讀 · 2021年6月28日
專知會員服務
15+閱讀 · 2021年3月16日
圖神經網絡:基礎理論與模型思想
專知
0+閱讀 · 2021年12月28日
【Tutorial】計算機視覺中的Transformer,98頁ppt
專知
5+閱讀 · 2021年10月25日
ECCV 2020接受論文出爐,1361篇都在這了
專知
22+閱讀 · 2020年7月4日
KDD2020接受論文列表!338篇論文都在這了
專知
20+閱讀 · 2020年6月26日
【重磅】61篇NIPS2019深度強化學習論文及部分解讀
AI科技評論
15+閱讀 · 2019年9月9日
國家自然科學基金
0+閱讀 · 2015年12月31日
國家自然科學基金
0+閱讀 · 2015年12月31日
國家自然科學基金
0+閱讀 · 2013年12月31日
國家自然科學基金
0+閱讀 · 2013年12月31日
國家自然科學基金
0+閱讀 · 2013年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2011年12月31日
國家自然科學基金
0+閱讀 · 2009年12月31日
Arxiv
10+閱讀 · 2021年11月1日
Arxiv
14+閱讀 · 2019年4月4日
VIP會員
相關基金
國家自然科學基金
0+閱讀 · 2015年12月31日
國家自然科學基金
0+閱讀 · 2015年12月31日
國家自然科學基金
0+閱讀 · 2013年12月31日
國家自然科學基金
0+閱讀 · 2013年12月31日
國家自然科學基金
0+閱讀 · 2013年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2012年12月31日
國家自然科學基金
0+閱讀 · 2011年12月31日
國家自然科學基金
0+閱讀 · 2009年12月31日
微信掃碼谘詢專知VIP會員
Top