醫療機器人已經證明了操作經皮器械進入軟組織解剖的能力,同時工作超越人類感知和靈活性的極限。機器人技術進一步提供了在資源有限的情況下以最少的監督完成關鍵任務的自主性。在這裏,我們提出了一種便攜式機器人設備,能夠將針頭和導管引入可變形的組織,如血管,以自主地抽血或輸送液體。機器人插管是由一係列深度卷積神經網絡的預測驅動的,這些神經網絡從多模態圖像序列中編碼時空信息來指導實時伺服。通過對誌願者的成像和機器人跟蹤研究,我們證明了該設備在存在解剖變異和運動的情況下,對周圍血管進行分割、分類、定位和跟蹤的能力。然後,我們評估了機器人在幻肢和動物模型中難以獲得血管的性能,並表明,與訓練有素的操作員手工插管相比,該設備可以提高成功率和操作時間,特別是在具有挑戰性的生理條件下。這些結果表明,自主係統有可能在複雜的視覺運動任務上超越人類,並展示了將這些能力轉化為臨床應用的一個步驟。

"> Nature論文:用於自主血管通路的深度學習機器人導航,新澤西州立大學 - 專知VIP

醫療機器人已經證明了操作經皮器械進入軟組織解剖的能力,同時工作超越人類感知和靈活性的極限。機器人技術進一步提供了在資源有限的情況下以最少的監督完成關鍵任務的自主性。在這裏,我們提出了一種便攜式機器人設備,能夠將針頭和導管引入可變形的組織,如血管,以自主地抽血或輸送液體。機器人插管是由一係列深度卷積神經網絡的預測驅動的,這些神經網絡從多模態圖像序列中編碼時空信息來指導實時伺服。通過對誌願者的成像和機器人跟蹤研究,我們證明了該設備在存在解剖變異和運動的情況下,對周圍血管進行分割、分類、定位和跟蹤的能力。然後,我們評估了機器人在幻肢和動物模型中難以獲得血管的性能,並表明,與訓練有素的操作員手工插管相比,該設備可以提高成功率和操作時間,特別是在具有挑戰性的生理條件下。這些結果表明,自主係統有可能在複雜的視覺運動任務上超越人類,並展示了將這些能力轉化為臨床應用的一個步驟。

成為VIP會員查看完整內容
0
8
0

相關內容

機器學習的一個分支,它基於試圖使用包含複雜結構或由多重非線性變換構成的多個處理層對數據進行高層抽象的一係列算法。

知識薈萃

精品入門和進階教程、論文和代碼整理等

更多

查看相關VIP內容、論文、資訊等

導航是移動機器人所需要的最基本的功能之一,允許它們從一個源穿越到一個目的地。傳統的辦法嚴重依賴於預先確定的地圖的存在,這種地圖的取得時間和勞力都很昂貴。另外,地圖在獲取時是準確的,而且由於環境的變化會隨著時間的推移而退化。我們認為,獲取高質量地圖的嚴格要求從根本上限製了機器人係統在動態世界中的可實現性。本論文以無地圖導航的範例為動力,以深度強化學習(DRL)的最新發展為靈感,探討如何開發實用的機器人導航。

DRL的主要問題之一是需要具有數百萬次重複試驗的不同實驗設置。這顯然是不可行的,從一個真實的機器人通過試驗和錯誤,所以我們反而從一個模擬的環境學習。這就引出了第一個基本問題,即彌合從模擬環境到真實環境的現實差距,該問題將在第3章討論。我們把重點放在單眼視覺避障的特殊挑戰上,把它作為一個低級的導航原語。我們開發了一種DRL方法,它在模擬世界中訓練,但可以很好地推廣到現實世界。

在現實世界中限製移動機器人采用DRL技術的另一個問題是訓練策略的高度差異。這導致了較差的收斂性和較低的整體回報,由於複雜和高維搜索空間。在第4章中,我們利用簡單的經典控製器為DRL的局部導航任務提供指導,避免了純隨機的初始探索。我們證明,這種新的加速方法大大減少了樣本方差,並顯著增加了可實現的平均回報。

我們考慮的最後一個挑戰是無上限導航的稀疏視覺製導。在第五章,我們提出了一種創新的方法來導航基於幾個路點圖像,而不是傳統的基於視頻的教學和重複。我們證明,在模擬中學習的策略可以直接轉移到現實世界,並有能力很好地概括到不可見的場景與環境的最小描述。

我們開發和測試新的方法,以解決障礙規避、局部引導和全球導航等關鍵問題,實現我們的願景,實現實際的機器人導航。我們將展示如何將DRL作為一種強大的無模型方法來處理這些問題

成為VIP會員查看完整內容
0
18
1

機器人和自主係統在現代經濟中扮演著重要的角色。定製機器人顯著提高了生產率、操作安全性和產品質量。然而,人們通常通過編程操作這些機器人來完成較小的領域的特定任務,而無法快速適應新任務和新情況。廉價、輕便和靈活的機器人硬件的出現為將機器人的自主能力提升到前所未有的水平提供了機會。新的機器人硬件在日常環境中的一個主要挑戰是處理現實世界的持續變化性和不確定性。為了應對這一挑戰,我們必須解決感知和行動之間的協同作用:一方麵,機器人的感知自適應地指導其行動,另一方麵,它的行動產生了新的感知信息,用於決策。我認為,實現通用機器人自治的關鍵一步是將感知和動作緊密地結合起來。

新興的人工智能計算工具已經證明了成功的希望,並構成了在非結構化環境中增強機器人感知和控製的理想候選。機器人的實體本質迫使我們超越現有的從無實體數據集學習的範式,並激勵我們開發考慮物理硬件和動態複雜係統的新算法。

本論文的研究工作是建立可通用的機器人感知和控製的方法和機製。我們的工作表明,感知和行動的緊密耦合,有助於機器人通過感官與非結構化的世界進行交互,靈活地執行各種任務,並適應地學習新任務。我們的研究結果表明,從低級的運動技能到高級的任務理解三個抽象層次上解剖感知-動作循環,可以有效地促進機器人行為的魯棒性和泛化。我們規劃的研究工作是處理日益複雜的任務,展現出我們朝著聖杯目標的路線圖:在現實世界中構建長期的、通用的機器人自治。

成為VIP會員查看完整內容
yukezhu_phd_dissertation.pdf
closing_perception_action_loop.pdf
0
31
4
小貼士
相關VIP內容
專知會員服務
7+閱讀 · 4月18日
相關論文
Generating Rationales in Visual Question Answering
Hammad A. Ayyubi,Md. Mehrab Tanjim,Julian J. McAuley,Garrison W. Cottrell
3+閱讀 · 4月4日
Logically-Constrained Reinforcement Learning
Mohammadhosein Hasanbeig,Alessandro Abate,Daniel Kroening
3+閱讀 · 2018年12月6日
Brandon Malone,Alberto García-Durán,Mathias Niepert
3+閱讀 · 2018年10月22日
Ricky T. Q. Chen,Yulia Rubanova,Jesse Bettencourt,David Duvenaud
3+閱讀 · 2018年10月3日
High Performance Software in Multidimensional Reduction Methods for Image Processing with Application to Ancient Manuscripts
Corneliu T. C. Arsene,Stephen Church,Mark Dickinson
4+閱讀 · 2018年7月18日
Andrea Madotto,Chien-Sheng Wu,Pascale Fung
6+閱讀 · 2018年5月21日
Marc Brittain,Peng Wei
3+閱讀 · 2018年5月18日
Joseph Suarez,Justin Johnson,Fei-Fei Li
4+閱讀 · 2018年3月30日
Lloyd H. Hughes,Michael Schmitt,Lichao Mou,Yuanyuan Wang,Xiao Xiang Zhu
8+閱讀 · 2018年1月25日
Top