中國互聯網公司之一,占有中國搜索引擎市場五成以上的份額。旗下有貼吧、知道、百科、文庫等產品。 詳細資料:百度本話題適用於百度公司及其產品的討論。

VIP內容

廣告係統的神經網絡通常從多種資源中獲取輸入,如查詢廣告相關性、廣告特征和用戶畫像。這些輸入被編碼成一個或多位熱的二進製特性,通常每個示例隻有一小部分非零的特性值。在線廣告行業的深度學習模型可能有TB級的參數,這些參數既不適合GPU內存,也不適合計算節點上的CPU主內存。例如,一個讚助的在線廣告係統可以包含超過10^11個稀疏特征,使得神經網絡成為一個大約有10tb參數的大型模型。本文介紹了一種用於大規模深度學習ADS係統的分布式GPU分級參數服務器。我們提出了一種利用GPU高帶寬內存、CPU主存和SSD作為三層分層存儲的分層工作流。所有的神經網絡訓練計算都包含在GPU中。對真實數據的大量實驗證實了該係統的有效性和可擴展性。在MPI集群中,一個4節點的層次化GPU參數服務器可以比內存中150節點的分布式參數服務器多訓練2倍以上的模型。此外,我們提出的係統的性價比是MPI-cluster解決方案的4-9倍。

成為VIP會員查看完整內容
0
6
0
Top