在這次演講中,我們從數據壓縮(和群不變性)的角度提供了對深度(卷積)網絡的完全“白盒”解釋。特別地,我們展示了現代的深層架構、線性(卷積)算子和非線性激活,甚至所有的參數都可以從最大化速率縮減(具有群不變性)的原則推導出來。網絡的所有層、操作符和參數都是通過前向傳播明確構建的,而不是通過後向傳播學習。因此得到的網絡的所有組件稱為ReduNet,具有精確優化、幾何和統計解釋。這種原則性的方法也有一些令人驚訝的地方:它揭示了類可分離性的不變性和稀疏性之間的基本權衡;它揭示了深層網絡和群體不變性的傅裏葉變換之間的基本聯係-頻譜域的計算優勢(為什麼是尖突神經元?);這種方法還闡明了正向傳播(優化)和反向傳播(變異)的數學作用。特別地,這樣獲得的ReduNet 可以通過前向和後向(隨機)傳播進行微調,都是為了優化同一目標。這是與Berkeley的Yaodong Yu, Ryan Chan, Haozhi Qi ,現在穀歌研究中心的You Chong博士,以及哥倫比亞大學的John Wright教授共同完成的。

https://cmsa.fas.harvard.edu/wp-content/uploads/2021/04/Lecture_Ma-1.pdf

成為VIP會員查看完整內容
0
66
1

來自中國科學技術大學 計算機與科學與技術學院 周正陽關於《如何做研究》的心得

成為VIP會員查看完整內容
0
61
1

近幾年,神經網絡因其強大的表征能力逐漸取代傳統的機器學習成為自然語言處理任務的基本模型。然而經典的神經網絡模型隻能處理歐氏空間中的數據,自然語言處理領域中,篇章結構,句法甚至句子本身都以圖數據的形式存在。因此,圖神經網絡引起學界廣泛關注,並在自然語言處理的多個領域成功應用。該文對圖神經網絡在自然語言處理領域中的應用進行了係統性的綜述, 首先介紹了圖神經網絡的核心思想並梳理了三種經典方法: 圖循環網絡,圖卷積網絡和圖注意力網絡;然後在具體任務中,詳細描述了如何根據任務特性構建合適的圖結構以及如何合理運用圖結構表示模型。該文認為,相比專注於探索圖神經網絡的不同結構,探索如何以圖的方式建模不同任務中的關鍵信息,是圖神經網絡未來工作中更具普遍性和學術價值的一個研究方向。

http://jcip.cipsc.org.cn/CN/abstract/abstract3096.shtml

成為VIP會員查看完整內容
0
54
0

【導讀】倫敦帝國理工學院教授Michael Bronstein等人撰寫了一本關於幾何深度學習係統性總結的書,提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。非常值得關注!

幾何深度學習是一種從對稱性和不變性的角度對大量ML問題進行幾何統一的嚐試。這些原理不僅奠定了卷積神經網絡的突破性性能和最近成功的圖神經網絡的基礎,而且也提供了一種原則性的方法來構建新型的問題特定的歸納偏差。

在本文中,我們做了一個適度的嚐試,將Erlangen項目的思維模式應用到深度學習領域,最終目標是獲得該領域的係統化和“連接點”。我們將這種幾何化嚐試稱為“幾何深度學習”,並忠實於Felix Klein的精神,提出從對稱性和不變性的原則推導出不同的歸納偏差和網絡架構。特別地,我們將重點放在一類用於分析非結構集、網格、圖和流形的神經網絡上,並表明它們可以被統一地理解為尊重這些域的結構和對稱性的方法。

我們相信這篇文章將吸引深度學習研究人員、實踐者和愛好者的廣泛受眾。新手可以用它來概述和介紹幾何深度學習。經驗豐富的深度學習專家可能會發現從基本原理推導熟悉架構的新方法,也許還會發現一些令人驚訝的聯係。實踐者可以獲得如何解決各自領域問題的新見解。

一些重要論述:

  • 我們研究了流行的深度學習架構(CNNs, GNNs, transformer, LSTMs)的本質,並意識到,隻要有一組合適的對稱,我們就可以等價它們,它們都可以用一個通用的幾何框架來表達。

  • 更進一步,我們在一些不太標準的領域(如同質群和流形)上使用了我們的框架,這表明框架可以很好地表達這些領域的最新進展,如球形CNN, SO(3)-變換器,和規範-等變網格CNNs。

  • 幾何深度學習的“5G”:網格、組(具有全局對稱性的齊次空間)、圖(以及作為特定情況的集)和流形,其中幾何先驗通過全局等距不變(可以用測地線表示)和局部規範對稱來表現。
成為VIP會員查看完整內容
0
53
1

推薦係統在我們的日常生活中發揮著越來越重要的作用,特別是在許多以用戶為導向的在線服務中,推薦係統在緩解信息過載問題方麵發揮著重要作用。推薦係統的目標是通過利用用戶和物品的交互來提高匹配的準確性,識別出一組最符合用戶顯性或隱性偏好的對象(即物品)。

隨著深度神經網絡(DNNs)在過去幾十年的快速發展,推薦技術已經取得了良好的性能。然而,現有的基於DNN的方法在實踐中存在一些缺陷。更具體地說,他們認為推薦過程是一個靜態的過程,並按照一個固定的貪心策略進行推薦; 現有的大多數基於DNN的推薦係統都是基於手工製作的超參數和深度神經網絡架構;它們將每個交互視為單獨的數據實例,而忽略了實例之間的關係。

在本教程中,我們將全麵介紹深度推薦係統中解決上述問題的先進技術的最新進展,包括深度強化學習(DRL)、自動機器學習(AutoML)和圖神經網絡(GNN)。

通過這種方式,我們希望這三個領域的研究人員能夠對空間有更深刻的理解和準確的洞察,激發更多的想法和討論,促進推薦技術的發展。

https://deeprs-tutorial.github.io/

成為VIP會員查看完整內容
0
42
0

當前人工智能已經成為全球最為活躍的創新領域,對經濟社會的發展影響深遠。白皮書提出,在過去一年中,人工智能的新算法不斷湧現,深度學習仍是這一時期發展主線,嚐試解決更為複雜的應用任務。人工智能的產業格局與生態體係更為明晰,開源開發框架格局逐步確立,以科技巨頭引領的生態係統垂直整合速度不斷加快;同時,產業發展重心開始轉變,企業比拚重點從單項技術的“理論”準確率轉向應用場景白熱化的“跑馬圈地”;人工智能的技術應用開始全麵覆蓋日常生活、科學研究、社會治理、商業創新和國家安全等經濟社會的關鍵領域,以空前的廣度和深度推動社會發展。基於以上人工智能技術產業發展態勢判斷,白皮書建議“十四五”期間,我國應通過加快AI基礎原創技術創新突破、構建協同發展AI基礎核心生態、實現區域差異化發展布局、加快垂直行業深度融合、主動融入全球治理框架等措施,實現我國人工智能產業突破發展。

http://www.caict.ac.cn/kxyj/qwfb/bps/202104/P020210420614092578238.pdf

成為VIP會員查看完整內容
0
42
0

德勤管理谘詢日前發布《2021年技術趨勢》報告,通過研究疫情對企業戰略、運營和技術帶來的連鎖反應,該報告深入介紹了國內外領先企業的數字化轉型最佳實踐成果、揭示了未來兩年全球企業在戰略與運營管理方麵的九大技術趨勢,並總結出重大發現:全球企業正在加速數字化戰略轉型,從而構建“韌性”、開創全新的經營模式。

這是德勤管理谘詢連續十二年發布全球技術趨勢報告,旨在為各行業企業高管提供影響其經營管理的重大技術洞察與戰略思考。

成為VIP會員查看完整內容
0
38
0

近年來,人工智能領域,在開發人工智能係統方麵取得了巨大進展,這些係統可以從大量精心標記的數據中學習。這種監督學習範式在訓練專門的模型方麵性能極好,在它們訓練的任務上往往能夠獲得極高的性能表現。

但不幸的是,僅靠監督學習,人工智能領域難以走遠。

監督學習在構建更智能的通用模型上存在本質上的瓶頸,例如處理多任務問題,或者通過大量存在的無標簽數據學習新技能等。實際上,我們不可能對世界上一切事物都做標注;即使可以標注,但數量也可能並不足夠,例如低資源語言翻譯任務。

如果人工智能係統能夠在訓練數據集之外,對現實世界能夠有更深入、更細致的理解,顯然它們將更有用,最終也將使人工智能更接近人類層麵的智能。

人類嬰兒學習世界運作,主要是通過觀察。我們會通過學習物體的持久性、重力等概念,從而形成關於世界上物體的廣義預測模型。在隨後的人生裏,我們不斷觀察世界,然後對它進行作用,然而再觀察作用的效果等等,通過反複嚐試,從而建立假設,解釋我們的行動如何能夠改變我們的環境。

一種有效的假設是,人類和動物的生物智能,主要的成分是由關於世界的普遍知識或常識構成的,這種常識在生物智能中會被默認為自然而存在的背景。但對於人工智能來說,如何構建這種常識卻一直是一個開放的挑戰難題。在某種程度上,常識正是人工智能的暗物質。

常識可以幫助人們學習新技能,而無需為每項任務做大量的監督訓練。

例如,我們隻需要給小孩子看幾張奶牛的圖畫,他們以後便可以輕鬆地識別出任何奶牛。相比之下,經過監督學習訓練的人工智能係統,則需要許多奶牛的標注圖像,即使這樣,訓練出的模型在一些特殊情況下,依然無法做出準確判斷。

人類通過 20 個小時的練習,便能夠學會駕駛汽車,但人類司機數千小時的數據卻無法訓練出一個很好的自動駕駛係統。

答案很簡單:人類借助了他們以前獲得的關於世界如何運作的背景知識。

我們如何讓機器也能這樣做呢?

我們認為,自我監督學習(self-supervised learning)是建立這種背景知識和近似人工智能係統中一種常識的最有前途的方法之一。

自我監督學習使人工智能係統能夠從數量級更大的數據中學習,這對於識別和理解世界更微妙、更不常見的表示模式很重要。

長期以來,自我監督學習在推進自然語言處理(NLP)領域取得了巨大成功,包括 Collobert-Weston 2008 model,Word2Vec,GloVE,fastText 以及最近的BERT,RoBERTa,XLM-R等。通過這些方法訓練的係統,會比以監督學習的方式訓練的係統,性能要高得多。

我們最新的研究項目 SEER 利用 SwAV 和其他方法,在10億張隨機的未標記圖像上預訓練了一個大型網絡,在各種視覺任務上獲得了最高的精度。這一進展表明,在複雜的現實環境中,自監督學習也可以在 CV 任務中有出色表現。

在接下來的這篇文章中,我們將講述,為什麼自監督學習可能有助於解開智能暗物質,以及為什麼它將是人工智能的下一個前沿。我們也將列出一些有前途的新方向,包括:在存在不確定性的情況下,基於能量的預測模型、聯合嵌入方法、人工智能係統中用於自監督學習和推理的隱變量體係結構等。

目錄內容:人類和動物如何快速學習? 自監督學習 基於能量的模型 EBM Architectures for multimodal prediction Non-Contrastive EBM Training Architectural EBM Generative Regularized Latent-Variable Architectures Amortized Inference: Learning to predict the latent variable

成為VIP會員查看完整內容
0
38
0

這門研究生水平的課程將專注於NLP框架、算法和方法的高級研究,包括語言建模、文本分類、機器翻譯和問題回答等最先進的技術。本課程將包括多種編程作業、論文閱讀、期中和期末專題。在這門課之前,學生應該至少學習過一門自然語言處理/機器學習的入門課程,並且熟悉Python編程。

本課程包括相關主題的介紹性講座。這些講座是和COS 484聯合的,請看這裏的課程安排。

https://princeton-nlp.github.io/cos484/cos584.html

Date Topics Fri (2/5) Language Models Fri (2/12) Text classification Fri (2/19) Word embeddings Fri (2/26) Feedforward Neural Networks Fri (3/5) Conditional Random Fields Fri (3/12) No meeting (midterm) Fri (3/19) Recurrent neural networks and neural language models Fri (3/26) Dependency parsing Fri (4/2) Machine translation Fri (4/9) Transformers Fri (4/16) Pre-training Fri (4/23) Language Grounding

成為VIP會員查看完整內容
0
31
0

《強化學習和隨機優化:序列決策的統一框架》是一本新書,它提供了一個統一框架,涵蓋了所有在不確定性下進行決策的社區(見jungle.princeton.edu)。這是第一本全麵介紹這些領域的書,遵循了確定性優化和機器學習(但不是隨機優化)中長期使用的風格。

第一部分提供了基礎材料,其中大部分可以略讀。第1章提供了通用建模框架的概述,該框架涵蓋了任何序列決策問題,最困難的挑戰(對於大多數問題)是策略的設計。第1章提供了跨越任何可能被設計的策略的四類策略路線圖的早期草圖。第2章總結了每個社區的規範化建模框架,這些框架使用了該字段的符號來處理某種形式的序列決策問題。對這一領域完全陌生的讀者可以略讀這一章,了解已經采用的各種方法。有深度的讀者將在這些規範問題中的一個或多個方麵有一定程度的專業知識,這將有助於在該問題和我們的框架之間提供一座橋梁。最後,第三章深入探討了在線學習。本章應該略讀,然後在需要時作為參考資料使用。

第二部分-隨機搜索-這些是隨機優化問題,可以使用自適應算法解決,其中唯一的信息鏈接迭代是關於函數的信念。我們還將這些狀態獨立函數稱為狀態獨立函數,以區別於我們在第三部分中開始處理的更一般的狀態依賴函數。

第三部分-狀態相關問題-這裏我們過渡到更豐富的序列問題類,其中被優化的函數是狀態相關的。

第四部分-策略搜索-這些章節描述了必須調整的策略,無論是在模擬器中還是通過經驗。

第五部分-基於前瞻近似的策略-基於前瞻近似的策略是策略搜索派生的策略的對應。

第六部分-多智能體係統和學習-最後我們展示了如何擴展我們的框架來處理多智能體係統。

目錄內容:

Chapter 1 – Introduction

Chapter 2 – Canonical models and applications .

Chapter 3 – Online learning- Revised from ADP book

Chapter 4 – Introduction to stochastic search

Chapter 5 – Derivative-based stochastic optimization

Chapter 6 – Stepsize policies

Chapter 7 – Derivative-free stochastic optimization

Chapter 8 – State-dependent problems

Chapter 9 – Modeling sequential decision problems

Chapter 10 – Uncertainty modeling

Chapter 11 – Designing policies

Chapter 12 – Policy function approximations and policy search

Chapter 13 – Cost function approximations

Chapter 14 – Discrete Markov decision processes

Chapter 15 – Backward approximate dynamic programming

Chapter 16 – Forward ADP I: The value of a policy

Chapter 17 – Forward ADP II: Policy optimization

Chapter 18 – Forward ADP III: Convex functions

Chapter 19 – Direct lookahead policies

Chapter 20 – POMDPs, two-agent systems, and multiagent RL

成為VIP會員查看完整內容
0
30
1

2021年國際萬維網大會The Web Conference(舊稱WWW)將於2021年4月19日-23日線上召開。TheWebConf是中國計算機學會(CCF)推薦的A類國際學術會議,是互聯網技術領域最重要的國際會議之一,由國際萬維網會議委員會(IW3C2)和主辦地地方團隊合作組織,每年召開一次,今年是第30屆會議。本次會議共接收1736篇提交長文,最終錄用357篇,錄用率為20.6%。

許多真實的數據以非網格對象的形式出現,例如從社交網絡到分子的圖表。從類似網格的數據(如圖像)到圖的深度學習最近受到了機器學習和數據挖掘領域前所未有的關注,導致了一個新的跨領域領域——深度圖學習(DGL)。DGL的目標不是繁雜的特征工程,而是以端到端的方式學習圖的信息表示。它在節點/圖分類、鏈路預測等任務中表現出了顯著的成功。

雖然之前的幾個教程已經在webconf中介紹了圖神經網絡(GNNs),但很少關注DGL算法的表達性、可訓練性和泛化。為了使DGL更加流行和先進,本教程主要介紹DGL近年來的主要成就。具體來說,我們將討論四個基本的主題,即如何高效地設計和訓練深度GNNs,如何采用GNNs來應對大規模圖,對GNNs的對抗性攻擊,以及對GNNs的無監督訓練。同時,我們將介紹DGL在不同領域的應用,包括但不限於藥物發現、計算機視覺、社會網絡分析等。

目錄內容: 09:00 - 09:10: Opening 09:10 - 09:50: Preliminaries and Brief History of Graph Neural Networks 09:50 - 10:25: Training Deep GNNs 10:25 - 10:30: Break 10:30 - 10:50: Scalability of GNNs 10:50 - 11:20: Robustness of GNNs 11:20 - 11:45: Self/Un-Supervised Learning of GNNs 11:45 - 11:50: Break 11:50 - 12:10: Other advanced topics 12:10 - 12:40: Applications 12:40 - 12:50: Future Directions

https://ai.tencent.com/ailab/ml/WWW-Deep-Graph-Learning.html

成為VIP會員查看完整內容
0
30
0

人類生成的類別標簽通常是嘈雜的,因為從多個專家收集的數據在不同標簽之間表現出不一致。為了改善這一效果,一種方法是要求標記者對樣本進行比較或排序:當類別標簽被排序時,麵對兩個或更多樣本的標記者可以根據類別的從屬關係對它們按w.r.t.的相對順序進行排序。比較比類別標簽更能提供信息,因為它們捕捉了類別之間和類別內部的關係;後者並不僅僅通過類別標簽來揭示。此外,在實踐中,比較標簽的可變性減少了:這在許多領域的實驗中都觀察到了,這是因為人們經常發現做出相對判斷比做出絕對判斷更容易。

然而,從比較中學習帶來了計算上的挑戰回歸排名特征是一個計算密集型任務。從樣本之間的成對比較中學習對應於對(^2)比較標簽的推理。更一般地,從大小為K的樣本子集的排名中學習對應於對(^K)標簽的推理。這需要顯著改善性能,例如,最大似然估計(MLE)算法在這樣的數據集。最後,收集排名也是勞動密集型的。這正是因為要標記的勢集的大小為K的空間的大小為(^K)。

本教程將回顧經典的和最近的方法來解決從比較中學習的問題,更廣泛地說,從排名數據中學習。將特別關注排名回歸設置,即排名是從樣本特征回歸。

https://neu-spiral.github.io/LearningFromComparisons/

Parametric models: Bradley-Terry, Plackett-Luce, Thurstone. Non-parametric Models: noisy-permutation model, Mallows model, matrix factorization methods. Maximum Likelihood Estimation and spectral algorithms. Ranking regression and variational inference methods applied to comparisons. Sample complexity guarantees for ranking regression. Deep neural network models and accelerated learning methods. Active learning from comparisons.

成為VIP會員查看完整內容
0
29
0

高效數據結構的設計和分析長期以來被認為是計算機領域的一個重要學科,是計算機科學和計算機工程本科學位的核心課程的一部分。Python中的數據結構和算法介紹了數據結構和算法,包括它們的設計、分析和實現。本書適用於入門級數據結構課程,或中級算法入門課程。我們將在本序言後麵更詳細地討論它在此類課程中的使用。

為了促進魯棒的和可重用的軟件的開發,我們試圖在整本書中采取一致的麵向對象的觀點。麵向對象方法的主要思想之一是,數據應該被封裝在訪問和修改它們的方法中。也就是說,不是簡單地將數據看作字節和地址的集合,而是將數據對象看作抽象數據類型(ADT)的實例,ADT包含了對這種類型的數據對象執行操作的一整套方法。然後我們強調,對於特定的ADT可能有幾種不同的實現策略,並探討這些選擇的優缺點。我們為幾乎所有討論過的數據結構和算法提供了完整的Python實現,我們還引入了重要的麵向對象設計模式,將這些實現組織成可重用的組件。

我們書的讀者期望的結果包括: 他們了解最常見的數據集合抽象(如堆棧、隊列、列表、樹、地圖)。 他們理解算法產生有效的實現策略常見的數據結構。 他們可以從理論上和實驗上分析算法性能,並識別競爭策略之間的共同權衡。 他們可以明智地使用現代編程語言庫中現有的數據結構和算法。 他們有處理大多數基本數據結構和算法的具體實現的經驗。 他們可以運用數據結構和算法來解決複雜的問題。

https://www.wiley.com/en-us/Data+Structures+and+Algorithms+in+Python-p-9781118290279

成為VIP會員查看完整內容
0
29
0

C++是一種功能強大、高度靈活、適應性強的編程語言,它允許軟件工程師快速有效地組織和處理信息。但是,即使您已經掌握了C編程語言,也很難掌握這種高級語言。實用c++編程的第二版是一個完整的介紹c++語言的程序員誰正在學習c++。這第二版反映了c++標準的最新變化,它采取了一種實用的腳踏實地的方法,著重強調了如何設計幹淨、優雅的代碼。簡而言之,切中要點的章節,涵蓋了編程的所有方麵,包括風格、軟件工程、編程設計、麵向對象設計和調試。它還涵蓋了常見的錯誤以及如何發現(和避免)它們。章節結束練習幫助你確保你已經掌握了材料。實用c++編程徹底涵蓋:

http://www.oualline.com/books.free/teach/intro.html

C++語法 編碼標準和風格 對象類的創建和使用 模板 調試和優化 使用c++預處理器

成為VIP會員查看完整內容
0
28
0

當前,我國經濟社會已經進入轉型階段,經濟從高速增長階段進入到高質量發展階段。隨著中央及各地不斷推進落實數字經濟及數字化轉型政策,配合我國雄厚的產業發展基礎和廣闊市場空間,我國數字經濟規模將不斷提升。數字技術的成熟落地將會重構產業數字生態,推動數字經濟成為我國經濟發展新的動能及增長點,數字經濟也必將會引領新一輪經濟周期,成為經濟發展的新引擎。

“十四五”新開局新定位,數字經濟新發展格局逐步呈現

新型冠狀病毒肺炎疫情(以下簡稱“疫情”)對全球經濟造成嚴重衝擊,中國是2020年唯一實現正增長的主要經濟體,其中數字經濟的蓬勃發展已成為經濟穩步複蘇的強有力支撐,根據中國信通院《中國數字經濟發展白皮書(2020年)》數據顯示,2019年,我國數字經濟增加值達到35.8萬億元,占GDP比重達到36.2%,數字經濟在國民經濟中的地位進一步凸顯。

2021年是“十四五”開局之年,2021年3月11日,十三屆全國人大四次會議審議通過《中華人民共和國國民經濟和社會發展第十四個五年規劃和二〇三五年遠景目標綱要》,《綱要》提出“打造數字經濟新優勢。促進數字技術與實體經濟深度融合,賦能傳統產業轉型升級,催生新產業新業態新模式,壯大經濟發展新引擎”。在“十四五”乃至更長時期,數字經濟在提高經濟運行效率、培育新發展動能、暢通國內國際雙循環方麵將發揮越來越重要的作用,數字經濟新發展格局開始逐步呈現。

疫情中迎來數字技術創新爆發期,數字經濟凸顯新比較優勢

疫情下數字技術創新應用助力科學有效抗疫,不僅加速了產業數字化進程,更形成了平台經濟、服務經濟、共享經濟等多元化的創新業態,有效推動了我國經濟複蘇以及高質量發展。一方麵,疫情期間,數字技術成為我國防疫抗疫和維持社會生產生活的關鍵支撐,“大數據+網格化”、健康碼等數字技術和應用精準助力科學疫情防控。另一方麵,數字技術在個性化定製、柔性生產、數字孿生等智能製造和工業互聯網應用等方麵發揮重要作用,通過與產業經濟深度融合,支撐線上辦公、遠程醫療、在線教育等新業態快速常態化、便捷化,助力企業複工複產,適應新常態下市場需求,為經濟發展注入了新動能。

成為VIP會員查看完整內容
0
28
0

現代深度學習方法為研究人員和工程師們提供了強大的工具,來解決以前似乎不可能解決的問題。然而,由於深度學習方法像黑匣子一樣運行,與它們預測相關的不確定性往往難以量化。貝葉斯統計提供了一種形式主義來理解和量化與深度神經網絡預測相關的不確定性。本文為使用機器學習,特別是深度學習的研究人員和科學家提供了教程,概述了相關文獻,並提供了一套完整的工具集來設計、實現、訓練、使用和評估貝葉斯神經網絡。

https://cimsnyu.hosted.panopto.com/Panopto/Pages/Viewer.aspx?id=7e6db4d7-d642-41f2-97a0-ab510100db5e

成為VIP會員查看完整內容
0
27
1

本書不求建立一套自足的或者界限分明的體係, 何況按科研的普遍經驗, 如一味要 求萬事具備才敢開疆拓土, 結果往往是一事無成, 代數相關領域尤其如此. 閱讀過程中 難免會遇上新的或未夯實的知識點, “引而伸之, 觸類而長之” 興許是更合適的態度. 即 便如此, 在此仍有必要描繪一條模糊的底線. 保守估計, 本書期望讀者對大學數學專業 低年級課程有充分的掌握. 如果還修習過一學期的本科代數課程, 譬如 [59] 的前半部或 [55], 就應當能順利理解本書大部分的內容, 但這不是必需的. 至於具體情形自然得具體 分析, 既係於讀者個人的學思經曆, 也和膽識有關.

第一章: 集合論 讀者對集合應有基本的了解. 本書以集合論居首, 一則是尊重體 係的嚴整性, 二則是完整說明基數和 Zorn 引理的來龍去脈. 最後介紹的 Grothendieck 宇宙是應用範疇論時的必要安全措施. 大基數理論對一些高階的範疇論構造實屬必需, 我們希望在日後探討同調代數時予以闡明.

第二章: 範疇論基礎 本章完整介紹範疇論的基礎概念, 以範疇, 函子與自然變換 為中心, 著重探討極限與可表性. 為了說明這些觀念是自然的, 我們將自數學各領域中 博引例證.

第三章: 幺半範疇 這是帶有某種乘法操作的範疇. 幺半範疇在實踐與理論兩麵 占據要津, 因為它一方麵是向量空間張量積的提純, 同時又能用來定義範疇的 “充實” 化, 例如實用中常見的加性範疇. 前三章主要在觀念或體係上占據首位, 實際閱讀時不必循序. 建議初學者先迅速瀏覽, 並在後續章節中逐漸認識這些內容的必要性, 回頭加以鞏固. 毋須在初次閱讀時就強求 逐字逐句地理解: 這不是唯一的方法, 也不是最好的方法.

第四章: 群論 對幺半群和群的基本理論予以較完整的說明, 包括自由群的構造, 也一並介紹群的完備化. 後者自然地引向 pro-有限群的概念, 這是一類可以用拓撲語彙 來包裝的群論結構, 它對於 p-進數, 賦值和無窮 Galois 理論的研討是必需的.

第五章: 環論初步 考慮到後續內容的需要, 此章也涉及完備化及對稱多項式的 初步理論. 之所以稱為初步, 是為了區別於交換環論 (又稱交換代數) 與非交換環的進 階研究, 這些將在後續著作予以探討.

第六章: 模論 此章觸及模論的基本內容, 包括張量積. 向量空間和交換群則視作 模的特例. 我們還會初步探討複形, 正合列與同調群的觀念. 係統性的研究則是同調代 數的任務. 關於半單模, 不可分模與合成列的內容可以算是後續著作的鋪墊.

第七章: 代數初步 這裏所謂的 “代數” 是構築在模上的一種乘法結構, 雖然易生 混淆, 此詞的使用早已積重難返, 本書隻能概括承受. 本章還將針對代數引入整性的一般定義, 討論分次代數, 並以張量代數及衍生之外代數和對稱代數為根本實例, 這些也 是線性代數中較為深入的題材, 有時又叫作多重線性代數. 稱為初步同樣是為了區別於 代數的細部研究, 特別是非交換代數的表示理論, 那是另一個宏大主題.

第八章: 域擴張 擴域的研究構成了域論的一大特色, 這根植於解方程式的需求. 本書不回避無窮代數擴張和超越擴張, 但對於更精細的結構理論如 p-基等則暫予略過.

第九章: Galois 理論 有限擴域的 Galois 理論常被視為本科階段代數學的終點, 這還是在課時充足的前提下; 如此就容易給人一種似是而非的印象, 仿佛 Galois 理論的 要旨不外是解高次方程和尺規作圖. 本章包括這些應用, 但置無窮 Galois 理論於核心 位置, 因為在數論等應用中, 由可分閉包給出的絕對 Galois 群才是最根本的對象. 為了 闡述這點, 使用 pro-有限群的語言便是難免的.

第十章: 域的賦值 此章第一節是關於濾子與完備化的討論, 無妨暫時略過. 其後 介紹 Krull 賦值的一般概念, 取值容許在任意全序交換群上, 然後引入域上的賦值與絕 對值. 這些主題既可以看作代數的支脈, 也可以看作非 Archimedes 分析學的入門. 相 關思路現已彙入了數論, 幾何與動力係統的研究. 最後介紹的 Witt 向量則在算術幾何 的新近發展中承擔了吃重的角色.

對於抽象程度較高的部分, 正文將穿插若幹和理論主線無關, 然而饒富興味或 者曾發揮重要曆史功用的結果, 例子包括 Möbius 反演 (§5.4), Frobenius 定理 7.2.9, Grassmann 簇的 Plücker 嵌入 (§7.7) 和 Ostrowski 定理 10.4.6 等等. 本書不區分基礎內容與選學內容, 讀者在訂定閱讀順序時宜參酌各章開頭的介紹 和閱讀提示.

https://www.wwli.asia/index.php/zh/books-item-zh

成為VIP會員查看完整內容
0
26
0

概率圖建模(PGM)提供了一個框架,以設計一個可解釋的生成過程的數據和表達不確定性的未知數。這使得PGM對於理解數據背後的現象和決策非常有用。在可解釋推理是關鍵的領域內,PGM取得了巨大的成功,例如市場營銷、醫學、神經科學和社會科學。然而,PGM往往缺乏靈活性,這阻礙了它在建模大規模高維複雜數據和執行需要靈活性的任務(例如在視覺和語言應用程序中)時的使用。

深度學習(DL)是另一個從數據中建模和學習的框架,近年來取得了巨大的成功。DL功能強大,具有很大的靈活性,但缺乏PGM的可解釋性和校準性。

本文研究了深度概率圖建模(DPGM)。DPGM通過利用DL使PGM更加靈活。DPGM帶來了從數據中學習的新方法,這些方法展示了PGM和DL的優點。

我們在PGM中使用DL來構建具有可解釋潛在結構的靈活模型。我們提出一係列模型擴展指數族主成分分析(EF-PCA),使用神經網絡提高預測性能,同時加強潛在因素的可解釋性。我們引入的另一個模型類支持在建模順序數據時考慮長期依賴關係,這在使用純DL或PGM方法時是一個挑戰。該序列數據模型類已成功應用於語言建模、情感分析的無監督文檔表示學習、會話建模和醫院再入院預測的患者表示學習。最後,DPGM成功地解決了概率主題模型的幾個突出問題。

在PGM中利用DL也帶來了學習複雜數據的新算法。例如,我們開發了熵正則化對抗學習,這是一種與PGM中使用的傳統最大似然方法不同的學習範式。從DL的角度來看,熵正則化對抗學習為生成式對抗網絡長期存在的模式崩潰問題提供了一種解決方案。

成為VIP會員查看完整內容
0
25
0

CVPR是計算機視覺領域三大頂會中唯一一個年度學術會議。在快速更新迭代的計算機學科中,CVPR成為了計算機視覺領域的“頂級流量”。而在過去的這些年間,CVPR也有著許多的變化。在十多年前,CVPR不過1500人的參會規模,到了2019年參會人數已經超過了6500人,投稿數量也年年增長。

雖然CVPR每年都會評選出最佳論文,但我們今天將從另一個角度來評選CVPR這二十年來的TOP10。即以Web of Science上顯示的論文的引用量作為論文影響力的參考,排列出近二十年來影響力最大的十篇論文。接下來我們將依次進行介紹。

TOP10Rethinking the Inception Architecture for Computer VisionCVPR 2016

作者:Christian Szegedy,Vincent Vanhoucke,Sergey Ioffe,Jon Shlens,Zbigniew Wojna

機構:Google,倫敦大學

被引頻次:4751

這篇論文又被稱為Inception-v3,是GoogLeNet(Inception-v1)的延伸。GoogLeNet首次出現於2014年ILSVRC 比賽,並在當年的比賽中獲得了冠軍。Inception-v1的參數量遠小於同期VGGNet,而性能卻與之基本持平。相較於Inception-v1,Inception-v3做出的主要改進則是將卷積進行非對稱拆分,以顯著降低參數量,同時使得空間特征更為豐富。

TOP9Densely Connected Convolutional NetworksCVPR 2017

作者:Gao Huang,Zhuang Liu,Laurens van der Maaten,Kilian Q. Weinberger

機構:康奈爾大學,清華大學,Facebook AI Research

被引頻次:5181

DenseNet也是CVPR2017的最佳論文之一。在當時的神經網絡模型都遇到一個問題:隨著網路層數的加深,訓練過程中的前傳信號和梯度信號在經過很多層之後可能會逐漸消失。而DenseNet的核心思想解決了這一問題。它對前每一層都加一個單獨的 shortcut,使得任意兩層網絡都可以直接“溝通”。

而DenseNet的不足之處在於它的內存占用十分龐大。但瑕不掩瑜,DenseNet以其極具創新性的思路,不僅顯著減輕了深層網絡在訓練過程中梯度消散而難以優化的問題,同時也取得了非常好的性能。

TOP8You Only Look Once: Unified, Real-Time Object DetectionCVPR 2016

作者:Joseph Redmon,Santosh Divvala,Ross Girshick,Ali Farhadiq

機構:華盛頓大學,Allen Institute for AI,Facebook AI Research

被引頻次:5295

這一篇論文就是在目標檢測領域大名鼎鼎的YOLO。其最新的版本已經更新到了YOLOv5,且每一代的發布都能在行業內卷齊新的熱潮。

用YOLO的英文直譯解釋這一方法,就是隻需要瀏覽一次就能識別出圖中的物體的類別和位置。展開來說,YOLO的核心思想就是將目標檢測轉化為回歸問題求解,並基於一個單獨的端到端網絡,完成從原始圖像的輸入到物體位置和類別的輸出。這使得網絡結構簡單,且極大提升了檢測速度。由於網絡沒有分支,所以訓練也隻需要一次即可完成。之後的很多檢測算法都借鑒了這一思路。

TOP7Rich feature hierarchies for accurate object detection and semantic segmentationCVPR 2014

作者:Ross Girshick,Jeff Donahue,Trevor Darrell,Jitendra Malik

機構:加利福尼亞大學伯克利分校

被引頻次:6876

這篇文章的排名在YOLO之前,既合理又巧妙。因為在YOLO之前,目標檢測領域可以說是RCNN的世界。RCNN是將CNN引入目標檢測的開山之作,它改變了目標檢測領域的主要研究思路。緊隨其後的係列文章,如Fast RCNN和Faster RCNN等,都代表了該領域當時的最高水準。

在RCNN前經典的目標檢測算法是使用滑動窗法依次判斷所有可能的區域,而RCNN則采用Selective Search方法預先提取一係列較可能是物體的候選區域,之後僅在這些候選區域上提取特征,這使得檢測的速度大大提升。

TOP6Rapid object detection using a boosted cascade of simple featuresCVPR 2001

作者:Paul Viola,Michael Jones

機構:三菱電氣實驗室 ,康柏劍橋研究實驗室

被引頻次:7033

這篇論文是本次盤點中最先發表的一篇,比其他九篇文章都早了十年左右,它在傳統人臉檢測中具有裏程碑意義,因而本文提出的思想聚焦於傳統的目標檢測。

這篇論文主要解決了三個問題:一是減少了計算特征的時間,二是構建了簡單又很有效的單分支決策樹分類器,最後是從簡單到複雜把多個分類器級聯,對可能包含人臉的區域進行重點檢測,從而顯著提升了檢測速度。

TOP5Going Deeper with ConvolutionsCVPR 2015

作者:Christian Szegedy,Dragomir Anguelov, Dumitru Erhan,Vincent Vanhoucke,Yangqing Jia,Pierre Sermanet,Wei Liu,Scott Reed,Andrew Rabinovich

機構:Google,北卡羅來納大學,密歇根大學

發布時間:2015年

被引頻次:7269

可能大家已經發現了亮點,這篇論文的係列工作在前麵就出現過。這篇論文就是開辟Inception家族,並在CNN分類器發展史上留下濃墨重彩的一筆的GoogLeNet。

在 Inception 出現之前,大部分流行 CNN 是將卷積層不斷堆疊,讓網絡越來越深來得到更好的性能。而GoogLeNet 最大的特點就是使用 Inception 模塊,並設計一種具有優良局部拓撲結構的網絡,對輸入圖像並行地執行多個卷積運算或池化操作,將所有輸出結果拚接為一個非常深的特征圖。通過這種方式,GoogLeNet取得了非常驚豔的效果。

TOP4ImageNet: A Large-Scale Hierarchical Image DatabaseCVPR 2009

作者:Jia Deng,Wei Dong,Richard Socher,Li-Jia Li,Kai Li,Li Fei-Fei

機構:普林斯頓大學

發布時間:2009年

被引頻次:8222

ImageNet是AI女神李飛飛團隊構建的計算機視覺領域非常著名的海量的帶標注圖像數據集。它在圖像分類、目標分割和目標檢測中都有著無法撼動的地位。ImageNet從 2007 年開始到 2009 年完成,有超過 1500 萬張圖片。

可以毫不誇張的說,ImageNet 是圖像處理算法的試金石。另外,從 2010 年起,每年 ImageNet 官方會舉辦挑戰賽。Hinton團隊提出的AlexNet也是在2012年的ImageNet挑戰賽上一舉成名,自此深度學習的熱潮被點燃。

TOP3Fully Convolutional Networks for Semantic SegmentationCVPR 2015

作者:Jonathan Long,Evan Shelhamer,Trevor Darrell

發布時間:2015年

被引頻次:9027

FCN在我們之前盤點的圖像分割TOP10中就出現過,並高居第一位。作為語義分割的開山之作,無論是圖像分割TOP1,還是CVPRTOP3,FCN都是當之無愧的。FCN所提出的全卷積網絡的概念,開創了用FCN做實例和像素級別理解係列方法的先河。後續非常多的方法都受到了FCN的思路啟發。FCN的提出為目標識別、檢測與分割也都做出了巨大的貢獻。

TOP2Histograms of oriented gradients for human detectionCVPR 2005

作者:Navneet Dalal,Bill Triggs

被引頻次:13389

圖片 這篇論文所提出的方法簡稱HOG,是一種是非常經典的圖像特征提取方法,在行人識別領域被應用得尤為多。雖然文章已經發表了十五年,但仍然常常被人們用於最新工作的思路參考。HOG將圖像分成小的連通區域,將它稱為細胞單元,然後采集細胞單元中各像素點的梯度的或邊緣的方向直方圖,把這些直方圖組合起來就可以構成特征描述器。

TOP1Deep Residual Learning for Image RecognitionCVPR2016

作者:Kaiming He,Xiangyu Zhang,Shaoqing Ren,Jian Sun

被引頻次:32065

這篇論文作為第一名,的確是當之無愧。作為CVPR2016的最佳論文,它所提出的ResNet不僅在計算機視覺領域,而是在深度學習領域中都帶來了顛覆式影響。

在當年,ResNet橫掃 ImageNet 2015和COCO 榜單。也是從ResNet開始,神經網絡在視覺分類任務上的性能第一次超越了人類。它也讓當時第二次獲得CVPR Best Paper的何愷明正式踏上了大神之路。

最初 ResNet 的設計是用來處理深層 CNN 結構中梯度消失和梯度爆炸的問題,它將輸入從卷積層的每個塊添加到輸出,讓每一層更容易學習恒等映射,並且還減少了梯度消失的問題。而如今,殘差模塊已經成為幾乎所有 CNN 結構中的基本構造。

最後,我們來進行一下簡要地總結。雖然本次盤點的是20年內CVPRTOP10,但是有超過半數的論文都是在近十年發表的,由此可以窺見深度學習在近年來的飛躍式發展。因此我們可以期待在未來的計算機視覺領域,一定會有更多更強的工作,為我們的科研與生活帶來更快更好的提升。

參考資料

[1]https://zhuanlan.zhihu.com/p/41691301[2]https://www.zhihu.com/question/60109389/answer/203099761[3]https://zhuanlan.zhihu.com/p/31427164[4]https://zhuanlan.zhihu.com/p/23006190[5]https://blog.csdn.net/weixin_37763809/article/details/88256828[6]https://zhuanlan.zhihu.com/p/37505777[7]https://zhuanlan.zhihu.com/p/77221549[8]https://www.zhihu.com/question/433702668/answer/1617092684[9]https://blog.csdn.net/zouxy09/article/details/7929348[10]https://www.jiqizhixin.com/articles/2020-01-01

成為VIP會員查看完整內容
0
23
1
登錄查看的更多。 返回頂部
本周薈萃主題
深度學習
機器學習的一個分支,它基於試圖使用包含複雜結構或由多重非線性變換構成的多個處理層對數據進行高層抽象的一係列算法。
機器學習
“機器學習是近20多年興起的一門多領域交叉學科,涉及概率論、統計學、逼近論、凸分析、算法複雜度理論等多門學科。機器學習理論主要是設計和分析一些讓 可以自動“ 學習”的算法。機器學習算法是一類從數據中自動分析獲得規律,並利用規律對未知數據進行預測的算法。因為學習算法中涉及了大量的統計學理論,機器學習與統計推斷學聯係尤為密切,也被稱為統計學習理論。算法設計方麵,機器學習理論關注可以實現的,行之有效的學習算法。很多 推論問題屬於 無程序可循難度,所以部分的機器學習研究是開發容易處理的近似算法。”

——中文維基百科
強化學習
強化學習(RL)是機器學習的一個領域,與軟件代理應如何在環境中采取行動以最大化累積獎勵的概念有關。除了監督學習和非監督學習外,強化學習是三種基本的機器學習範式之一。 強化學習與監督學習的不同之處在於,不需要呈現帶標簽的輸入/輸出對,也不需要顯式糾正次優動作。相反,重點是在探索(未知領域)和利用(當前知識)之間找到平衡。 該環境通常以馬爾可夫決策過程(MDP)的形式陳述,因為針對這種情況的許多強化學習算法都使用動態編程技術。經典動態規劃方法和強化學習算法之間的主要區別在於,後者不假設MDP的確切數學模型,並且針對無法采用精確方法的大型MDP。
推薦係統
推薦係統,是指根據用戶的習慣、偏好或興趣,從不斷到來的大規模信息中識別滿足用戶興趣的信息的過程。推薦推薦任務中的信息往往稱為物品(Item)。根據具體應用背景的不同,這些物品可以是新聞、電影、音樂、廣告、商品等各種對象。推薦係統利用電子商務網站向客戶提供商品信息和建議,幫助用戶決定應該購買什麼產品,模擬銷售人員幫助客戶完成購買過程。個性化推薦是根據用戶的興趣特點和購買行為,向用戶推薦用戶感興趣的信息和商品。隨著電子商務規模的不斷擴大,商品個數和種類快速增長,顧客需要花費大量的時間才能找到自己想買的商品。這種瀏覽大量無關的信息和產品過程無疑會使淹沒在信息過載問題中的消費者不斷流失。為了解決這些問題,個性化推薦係統應運而生。個性化推薦係統是建立在海量數據挖掘基礎上的一種高級商務智能平台,以幫助電子商務網站為其顧客購物提供完全個性化的決策支持和信息服務。
卷積神經網絡
在深度學習中,卷積神經網絡(CNN或ConvNet)是一類深度神經網絡,最常用於分析視覺圖像。基於它們的共享權重架構和平移不變性特征,它們也被稱為位移不變或空間不變的人工神經網絡(SIANN)。它們在圖像和視頻識別,推薦係統,圖像分類,醫學圖像分析,自然語言處理,和財務時間序列中都有應用。
命名實體識別
命名實體識別(NER)(也稱為實體標識,實體組塊和實體提取)是信息抽取的子任務,旨在將非結構化文本中提到的命名實體定位和分類為預定義類別,例如人員姓名、地名、機構名、專有名詞等。
機器翻譯
機器翻譯,又稱為自動翻譯,是利用計算機將一種自然語言(源語言)轉換為另一種自然語言(目標語言)的過程。它是計算語言學的一個分支,是人工智能的終極目標之一,具有重要的科學研究價值。
計算機視覺
計算機視覺是一門研究如何使機器“看”的科學,更進一步的說,就是是指用攝影機和電腦代替人眼對目標進行識別、跟蹤和測量等機器視覺,並進一步做圖形處理,使電腦處理成為更適合人眼觀察或傳送給儀器檢測的圖像。作為一個科學學科,計算機視覺研究相關的理論和技術,試圖建立能夠從圖像或者多維數據中獲取‘信息’的人工智能係統。
新聞
新聞,是指報紙、電台、電視台、互聯網等媒體經常使用的記錄與傳播信息的 [2] 一種文體,是反映時代的一種文體。新聞概念有廣義與狹義之分。廣義上:除了發表於報刊、廣播、互聯網、電視上的評論與專文外的常用文本都屬於新聞,包括消息、通訊、特寫、速寫(有的將速寫納入特寫之列)等等; [3] 狹義上:消息是用概括的敘述方式,以較簡明扼要的文字,迅速及時地報道附近新近發生的、有價值的事實,使一定人群了解。新聞一般包括標題、導語、主體、背景和結語五部分。前三者是主要部分,後二者是輔助部分。寫法以敘述為主兼或有議論、描寫、評論等。新聞是包含海量資訊的新聞服務平台,真實反映每時每刻的重要事件。您可以搜索新聞事件、熱點話題、人物動態、產品資訊等,快速了解它們的最新進展。
圖靈獎
圖靈獎(A.M. Turing Award,又譯“杜林獎”),由 美國計算機協會(ACM)於1966年設立,又叫“A.M. 圖靈獎”,專門獎勵那些對計算機事業作出重要貢獻的個人。其名稱取自計算機科學的先驅、英國科學家 阿蘭·麥席森·圖靈
Top
http://www.webtourguide.com/zytx/1050068.html http://www.webtourguide.com/zytx/71101.html http://www.webtourguide.com/zytx/3393218.html http://www.webtourguide.com/zytx/646998.html http://www.webtourguide.com/zytx/7787654.html http://www.webtourguide.com/zytx/13027.html http://www.webtourguide.com/zytx/485164.html http://www.webtourguide.com/zytx/978377.html http://www.webtourguide.com/zytx/1323837.html http://www.webtourguide.com/zytx/219334.html http://www.webtourguide.com/zytx/467139.html http://www.webtourguide.com/zytx/43874.html http://www.webtourguide.com/zytx/5387087.html http://www.webtourguide.com/zytx/51919.html http://www.webtourguide.com/zytx/807119.html http://www.webtourguide.com/zytx/81874.html http://www.webtourguide.com/zytx/80727.html http://www.webtourguide.com/zytx/100421.html http://www.webtourguide.com/zytx/91701.html http://www.webtourguide.com/zytx/80886.html http://www.webtourguide.com/zytx/62577.html http://www.webtourguide.com/zytx/262939.html http://www.webtourguide.com/zytx/41880.html http://www.webtourguide.com/zytx/971268.html http://www.webtourguide.com/zytx/632538.html http://www.webtourguide.com/zytx/5974712.html http://www.webtourguide.com/zytx/7434655.html http://www.webtourguide.com/zytx/516775.html http://www.webtourguide.com/zytx/92423.html http://www.webtourguide.com/zytx/4980936.html http://www.webtourguide.com/zytx/8995032.html http://www.webtourguide.com/zytx/23322.html http://www.webtourguide.com/zytx/594517.html http://www.webtourguide.com/zytx/4615195.html http://www.webtourguide.com/zytx/525839.html http://www.webtourguide.com/zytx/8599939.html http://www.webtourguide.com/zytx/7483336.html http://www.webtourguide.com/zytx/36948.html http://www.webtourguide.com/zytx/531747.html http://www.webtourguide.com/zytx/4131496.html http://www.webtourguide.com/zytx/6270160.html http://www.webtourguide.com/zytx/8648430.html http://www.webtourguide.com/zytx/68758.html http://www.webtourguide.com/zytx/830281.html http://www.webtourguide.com/zytx/1048913.html http://www.webtourguide.com/zytx/22097.html http://www.webtourguide.com/zytx/5005988.html http://www.webtourguide.com/zytx/33925.html http://www.webtourguide.com/zytx/5424440.html http://www.webtourguide.com/zytx/674827.html http://www.webtourguide.com/zytx/7842842.html http://www.webtourguide.com/zytx/67578.html http://www.webtourguide.com/zytx/391384.html http://www.webtourguide.com/zytx/824421.html http://www.webtourguide.com/zytx/20931.html http://www.webtourguide.com/zytx/7126083.html http://www.webtourguide.com/zytx/165991.html http://www.webtourguide.com/zytx/901610.html http://www.webtourguide.com/zytx/194453.html http://www.webtourguide.com/zytx/43666.html http://www.webtourguide.com/zytx/6233288.html http://www.webtourguide.com/zytx/2739847.html http://www.webtourguide.com/zytx/52829.html http://www.webtourguide.com/zytx/967413.html http://www.webtourguide.com/zytx/833695.html http://www.webtourguide.com/zytx/553182.html http://www.webtourguide.com/zytx/845238.html http://www.webtourguide.com/zytx/331605.html http://www.webtourguide.com/zytx/20406.html http://www.webtourguide.com/zytx/837430.html http://www.webtourguide.com/zytx/365943.html http://www.webtourguide.com/zytx/3819789.html http://www.webtourguide.com/zytx/1525460.html http://www.webtourguide.com/zytx/84052.html http://www.webtourguide.com/zytx/3486430.html http://www.webtourguide.com/zytx/2594255.html http://www.webtourguide.com/zytx/7412125.html http://www.webtourguide.com/zytx/7911618.html http://www.webtourguide.com/zytx/899476.html http://www.webtourguide.com/zytx/33272.html http://www.webtourguide.com/zytx/2482690.html http://www.webtourguide.com/zytx/677560.html http://www.webtourguide.com/zytx/53044.html http://www.webtourguide.com/zytx/178029.html http://www.webtourguide.com/zytx/8137006.html http://www.webtourguide.com/zytx/895847.html http://www.webtourguide.com/zytx/7561559.html http://www.webtourguide.com/zytx/99155.html http://www.webtourguide.com/zytx/708588.html http://www.webtourguide.com/zytx/644532.html http://www.webtourguide.com/zytx/25360.html http://www.webtourguide.com/zytx/6845394.html http://www.webtourguide.com/zytx/43599.html http://www.webtourguide.com/zytx/223549.html http://www.webtourguide.com/zytx/93458.html http://www.webtourguide.com/zytx/64294.html http://www.webtourguide.com/zytx/939533.html http://www.webtourguide.com/zytx/8327442.html http://www.webtourguide.com/zytx/95316.html http://www.webtourguide.com/zytx/40010.html
http://www.webtourguide.com/zytx/1050068.html http://www.webtourguide.com/zytx/71101.html http://www.webtourguide.com/zytx/3393218.html http://www.webtourguide.com/zytx/646998.html http://www.webtourguide.com/zytx/7787654.html http://www.webtourguide.com/zytx/13027.html http://www.webtourguide.com/zytx/485164.html http://www.webtourguide.com/zytx/978377.html http://www.webtourguide.com/zytx/1323837.html http://www.webtourguide.com/zytx/219334.html http://www.webtourguide.com/zytx/467139.html http://www.webtourguide.com/zytx/43874.html http://www.webtourguide.com/zytx/5387087.html http://www.webtourguide.com/zytx/51919.html http://www.webtourguide.com/zytx/807119.html http://www.webtourguide.com/zytx/81874.html http://www.webtourguide.com/zytx/80727.html http://www.webtourguide.com/zytx/100421.html http://www.webtourguide.com/zytx/91701.html http://www.webtourguide.com/zytx/80886.html http://www.webtourguide.com/zytx/62577.html http://www.webtourguide.com/zytx/262939.html http://www.webtourguide.com/zytx/41880.html http://www.webtourguide.com/zytx/971268.html http://www.webtourguide.com/zytx/632538.html http://www.webtourguide.com/zytx/5974712.html http://www.webtourguide.com/zytx/7434655.html http://www.webtourguide.com/zytx/516775.html http://www.webtourguide.com/zytx/92423.html http://www.webtourguide.com/zytx/4980936.html http://www.webtourguide.com/zytx/8995032.html http://www.webtourguide.com/zytx/23322.html http://www.webtourguide.com/zytx/594517.html http://www.webtourguide.com/zytx/4615195.html http://www.webtourguide.com/zytx/525839.html http://www.webtourguide.com/zytx/8599939.html http://www.webtourguide.com/zytx/7483336.html http://www.webtourguide.com/zytx/36948.html http://www.webtourguide.com/zytx/531747.html http://www.webtourguide.com/zytx/4131496.html http://www.webtourguide.com/zytx/6270160.html http://www.webtourguide.com/zytx/8648430.html http://www.webtourguide.com/zytx/68758.html http://www.webtourguide.com/zytx/830281.html http://www.webtourguide.com/zytx/1048913.html http://www.webtourguide.com/zytx/22097.html http://www.webtourguide.com/zytx/5005988.html http://www.webtourguide.com/zytx/33925.html http://www.webtourguide.com/zytx/5424440.html http://www.webtourguide.com/zytx/674827.html http://www.webtourguide.com/zytx/7842842.html http://www.webtourguide.com/zytx/67578.html http://www.webtourguide.com/zytx/391384.html http://www.webtourguide.com/zytx/824421.html http://www.webtourguide.com/zytx/20931.html http://www.webtourguide.com/zytx/7126083.html http://www.webtourguide.com/zytx/165991.html http://www.webtourguide.com/zytx/901610.html http://www.webtourguide.com/zytx/194453.html http://www.webtourguide.com/zytx/43666.html http://www.webtourguide.com/zytx/6233288.html http://www.webtourguide.com/zytx/2739847.html http://www.webtourguide.com/zytx/52829.html http://www.webtourguide.com/zytx/967413.html http://www.webtourguide.com/zytx/833695.html http://www.webtourguide.com/zytx/553182.html http://www.webtourguide.com/zytx/845238.html http://www.webtourguide.com/zytx/331605.html http://www.webtourguide.com/zytx/20406.html http://www.webtourguide.com/zytx/837430.html http://www.webtourguide.com/zytx/365943.html http://www.webtourguide.com/zytx/3819789.html http://www.webtourguide.com/zytx/1525460.html http://www.webtourguide.com/zytx/84052.html http://www.webtourguide.com/zytx/3486430.html http://www.webtourguide.com/zytx/2594255.html http://www.webtourguide.com/zytx/7412125.html http://www.webtourguide.com/zytx/7911618.html http://www.webtourguide.com/zytx/899476.html http://www.webtourguide.com/zytx/33272.html http://www.webtourguide.com/zytx/2482690.html http://www.webtourguide.com/zytx/677560.html http://www.webtourguide.com/zytx/53044.html http://www.webtourguide.com/zytx/178029.html http://www.webtourguide.com/zytx/8137006.html http://www.webtourguide.com/zytx/895847.html http://www.webtourguide.com/zytx/7561559.html http://www.webtourguide.com/zytx/99155.html http://www.webtourguide.com/zytx/708588.html http://www.webtourguide.com/zytx/644532.html http://www.webtourguide.com/zytx/25360.html http://www.webtourguide.com/zytx/6845394.html http://www.webtourguide.com/zytx/43599.html http://www.webtourguide.com/zytx/223549.html http://www.webtourguide.com/zytx/93458.html http://www.webtourguide.com/zytx/64294.html http://www.webtourguide.com/zytx/939533.html http://www.webtourguide.com/zytx/8327442.html http://www.webtourguide.com/zytx/95316.html http://www.webtourguide.com/zytx/40010.html