免费视频淫片aa毛片_日韩高清在线亚洲专区vr_日韩大片免费观看视频播放_亚洲欧美国产精品完整版

• 有一篇論文（[cvpr2017]Joint Geometrical and Statistical Alignment for Visual Domain Adaptation ）對Domain Adaptation做了一定的總結(jié)，我直接把我當時的翻譯抄一下（這里是針對判別式模型（discriminator model）的分析）：

  • 常見的域適應包括基于實例（instance-based）的適應、基于特征表示( feature representation）的適應、基于分類器（classifier-based )的適應，其中在非監(jiān)督的情況下，因為沒有target labels，所以基于分類器的適應是不可行的。

    • 通常分布差異（distribution devergence）可以通過基于實例(instance-based)的適應，比如對source domain中的樣本的權(quán)重重新加權(quán)
    • 或者可以通過特征表示的方法（feature representation/transformation）的方式，將source domain和target domain的特征投影到第三個使得分布的偏差較小的domain當中。
    • 基于實例（instance-based）的方法需要比較嚴格的假設：1）source domain和target domain的條件分布是相同的，2）source domain中的某些部分數(shù)據(jù)可以通過重新加權(quán)被重用于target domain中的學習。
    • 基于特征表示（feature representation/transformation）的s適應的假設則相對來說更弱一點，僅僅假設存在一個使得source domain和target domain的分布相似的公共空間。

  • 有兩大類特征變換的方法：1)以數(shù)據(jù)為中心（data centric methods ）；2)以子空間為中心（subspace centric methods）

  • 以數(shù)據(jù)為中心的方法（data centric methods ） 尋求一個統(tǒng)一的轉(zhuǎn)換，將數(shù)據(jù)從source domain和target domain投影到域不變空間(domain invariant space)當中，以求減少source domain和target domain上數(shù)據(jù)的分布差異(distributional divergence)，并且同時保留原始空間當中的數(shù)據(jù)屬性
  • 以數(shù)據(jù)為中心的方法（data centric methods ）僅僅利用兩個域中的共同特征（shared feature），然而當source domain和target domain的差異很大(have large discrepancy)的時候會導致失敗，因為使得source domain和target domain分布一致的公共空間可能會不存在。
  • 以子空間為中心的方法(subspace centric
    methods)則是通過操縱兩個域的子空間(比如建立線性映射，或者使用類似grassmann 這樣的流形來進行映射)來減少域位移(domain shift)，使得每個域的子空間都有助于最終映射的形成。
  • 作者認為，以子空間為中心的方法僅在兩個域的子空間上進行操作，而不用直接地考慮兩個域的投影數(shù)據(jù)之間的分布偏移。（However, the subspace centric methods only manipulate on the subspaces of the two domains without explicitly considering the distribution shift between projected data of two domains.）

• 另外一篇論文（[CVPR2017]Adversarial Discriminative Domain Adaptation）則是依據(jù)對抗性損失（Adversarial Loss）的建模方式進行分析，大致分為以下兩種

  • 使用生成式模型（generative model）的
    
    • 最初的論文GAN就是典型的生成式建模，利用噪聲直接生成對應標簽圖像，可以視為學習了類的聯(lián)合分布，即生成式模型
    • 域適應中比如CoGAN和下文中的Unsupervised Pixel–Level Domain Adaptation with Generative Adversarial Networks就是生成式建模
    • 論文作者認為生成式模型的優(yōu)點在于訓練期間不需要復雜的推理和抽樣（？），缺點是訓練的難度可能很大，當source domain和target domain差異較大的時候，單純使用生成式模型網(wǎng)絡可能不收斂，并且對圖像進行生成式建模是不必要的，畢竟神經(jīng)網(wǎng)絡最終學習的目的就是得到類的后驗概率，即神經(jīng)網(wǎng)絡本身是個判別式模型。
  • 使用判別式模型的（目前大部分的Domain Adaptation使用的是這個方法，差異也很大，不好直接歸類）
  • 例子：
    
    

我大致用上面的歸類方法對目前的論文進行歸類：

Deep Domain Confusion: Maximizing for Domain Invariance（2014）

• 點擊查看筆記
• 基于特征變換-以數(shù)據(jù)為中心的方法（同一個映射）
• 采用的技術：
  
  • maximum mean discrepancy：最大平均差異
• 模型：
  
  
• 特點：
  
  • source domain和target domain之間參數(shù)的完全共享
• 性能：
  
  

Unsupervised Domain Adaptation by Backpropagation(2015)

• 點擊查看筆記
• 基于特征變換-以子空間為中心的方法
• 適用于非監(jiān)督
• 采用的技術：
  
  • GAN loss的對抗性損失，具體實現(xiàn)使用的是梯度反轉(zhuǎn)層GRL，其“pesudo function”表示如下：
    
    
• 模型：
  
  
• 特點：
  
  • 特征提取之后，在域分類器（domain classifier）之前加入了一個梯度反轉(zhuǎn)層。
• 作者針對不同的數(shù)據(jù)集使用了不同的網(wǎng)絡：
  
  
• 性能：
  
  

Beyond Sharing Weights for Deep Domain Adaptation（2016）

• 點擊查看筆記
• 基于特征變換-以子空間為中心的方法
• 適用于非監(jiān)督和半監(jiān)督
• 采用的技術：
  
  • maximum mean discrepancy：最大平均差異
• 模型：
  
  
• 特點：
  
  • source domain和target domain之間參數(shù)的部分共享
  • 在source domain和target domain之間學習一個線性的轉(zhuǎn)換
  • 有一個很嚴重的問題，就是網(wǎng)絡的架構(gòu)會隨著任務的改變而改變（否則性能會下降）
  • 性能的話（據(jù)作者所說）好于Deep Domain Confusion的
• 性能：
  
  
  
  
  
  
  
  

Domain Separation Networks（2016）

• 點擊查看筆記
• 源代碼(論文里給出了地址 https://github.com/tensorflow/models/domain_adaptation，但是我點進去404了)
• 基于特征變換-以子空間為中心的方法（）
• 采用的技術：
  
  • adversarial loss的對抗性損失，具體實現(xiàn)使用的是梯度反轉(zhuǎn)層GRL
  • MMD（后來作者覺得使用MMD效果不如GAN loss）
• 模型：
  
  
  
  
  
• 特點：
  
  • 分別針對source domain與target domain共有的部分，source domain和target domain私有的部分進行訓練
  • 在source domain和target domain之間的共有部分之間，作者最終選擇了GAN loss，在兩個stream之間另外建立了一個Domain classifier(域分類器)從梯度反轉(zhuǎn)層（GRL）產(chǎn)生的結(jié)果中進行學習，與交叉熵形式的進行對抗性訓練
• 備注：
  
  • 論文里的和和GAN那篇論文里的和不太一樣
  • 論文里的圖像重建部分（shared Decoder）僅僅是用于觀察學習的進度，貌似和對抗性損失的關系不大。
• 性能：
  
  
  
  
  
  
  
  

Deep CORAL: Correlation Alignment for Deep Domain Adaptation（2016）

• 點擊查看筆記
• 基于特征變換-以數(shù)據(jù)為中心的方法（同一個映射）
• 非監(jiān)督
• 采用的技術：
  
  • CORAL損失：
    
    • CORAL作為二階統(tǒng)計量，對齊source domain和target domain的CORAL能夠?qū)Rsource domain和target domain的均值和協(xié)方差矩陣
    • 后一個是矩陣的Frobenius范數(shù)
      
      • 協(xié)方差矩陣計算：
        
        • 其中是一個所有元素為1的列向量
• 模型（AlexNet，fc8層引入CORAL）：
  
  
• 備注：
  
  • 作者強調(diào)他的模型是”end-to-end”的，但是我沒搞懂什么意思
  • 作者也強調(diào)這個CORAL正則項很“易于實現(xiàn)”
• 性能：
  
  

Unsupervised Domain Adaptation with Residual Transfer Networks（2017）

• 點擊查看筆記
• 源代碼
• 基于特征變換-以子空間為中心的方法
• 非監(jiān)督

• 采用的技術：

  • 多層MMD（Maximum Mean Discrepancy on multiple layers）：
  • Residual function（Deep residual learning for image recognition.[CVPR2016]）

• 模型（前面AlexNet,ResNet等）：
  

  

• 特點：
  
  • 這篇論文更傾向于解決source domain和target domain差異較大的情況，source domain和target domain使用的是不同的分類器
  • source domain和target domain的分類器作者認為不應差距過大，所以在source domain和target domain的分類器之間學習一個Residual function使得source domain和target domain的分類器有個較小的區(qū)別，其中，（target domain上沒有標簽，所以用source domain的放在前面）
  • 為保證target domain的分類器確實有分類的能力，使用entropy penalty(熵懲罰)保證分類器的輸出趨向于one-hot vector（保證了low-density separation）。
• 性能：
  
  

[CVPR2017]Unsupervised Pixel–Level Domain Adaptation with Generative Adversarial Networks

• 點擊查看筆記
• 源代碼：”We plan to open source our code once author feedback is released”
• 非監(jiān)督(實驗中提到了半監(jiān)督的拓展)
• 本文使用對抗性損失（adversarial loss）中的生成式模型(generative model)進行domain adaptation任務
• 模型(分類器和域適應解耦合)：
  
  
• 采用的技術：
  
  • adversarial loss：
    
    • 與GAN那篇文章里有不同，本文將source domain圖像和一個隨機噪聲(實驗中提到是均勻分布的)作為生成器(generator)的輸入（類比GAN那篇文章里的），去擬合target domain的圖像的分布（類比GAN那篇文章中原始的圖像分布）
    • 本文：
      
      
    • GAN：
      
      
  • 受style transfer的啟發(fā)，使用的Content–similarity loss
    
    • 希望generator生成的圖像，前景色和source domain基本一致（背景色不作要求），不過并不是阻止前景色的變化，而是希望前景色的變化能夠保持一致。
    • 在給定一個遮罩的情況下進行圖像的Content–similarity loss，不過我沒有看明白這個圖像是數(shù)據(jù)集給定的，還是網(wǎng)絡學習得出的，還是自己標記的（這個幾乎不可能）:
      
      
      
      
      
• 備注：
  
  • target domain和source domain的標簽域可以不一樣，target domain訓練時和測試時可以使用不同的標簽。
  • 作者說因為這個域適應是在像素級別上進行的（ because our model
    maps one image to another at the pixel level），所以我們可以改變這個Task-Specific圖像訓練結(jié)構(gòu)
    
    • 網(wǎng)絡對參數(shù)設置不敏感
• 性能：
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  
  

[CVPR2017]Mind the Class Weight Bias: Weighted Maximum Mean Discrepancy for Unsupervised Domain Adaptation

• 點擊查看筆記
• 源代碼
• 基于特征變換-以子空間為中心的方法
• 非監(jiān)督
• weighted MMD 說明：
  
  
• 采用的技術：
  
  • 改良后的MMD（weighted MMD，作者把相應的架構(gòu)稱為WDAN(weighted domain adaptation network)）:
    
    • 直接使用MMD來測量source domain和target domain作者認為會造成一定的誤差，因為僅僅使用MMD沒有考慮到source domain和target domain之間的class weight（類的先驗分布）的不同。當source domain和target domain的類的先驗分布差異很大的時候，僅僅使用MMD會造成target domain上嚴重的分類失誤。
    • 作者引入class-specific auxiliary
      weights（類特定輔助權(quán)重？）對source domain的樣本重新分配權(quán)重，以使得映射以后的source domain樣本的類后驗分布于target domain一致（但是難點在于target domain的類先驗分布未知，因為沒有標簽，因此后驗分布也未知）（對于判別式模型(discriminative model)，網(wǎng)絡學習的是類的后驗概率）
    • 為了解決target domain的類先驗分布未知的問題，作者又引入了一個新的訓練方式，被稱為ECM（具體見筆記）
      
      • E：估計target domain的類后驗概率（用上次迭代得到的分類器做出的預測來進行判斷）
      • C：利用E步驟中計算的類后驗概率，給定每個target domain數(shù)據(jù)一個pesudo label，并計算class-specific auxiliary
        weights（類特定輔助權(quán)重？）的估計值
      • M：利用class-specific auxiliary
        weights的估計值，更新網(wǎng)絡的各個參數(shù)，得到的分類器用于下一次迭代給E以預測的結(jié)果。
• 特點：
  
  • 當source domain和target domain的類先驗分布差異較大的時候，這個網(wǎng)絡應該會有比較好的表現(xiàn)
• 性能：
  
  
  
  
  

[CVPR2017]Learning an Invariant Hilbert Space for Domain Adaptation

• 因為我水平所限（流形學習與相關的數(shù)學方面的知識不足），這篇論文很大一部分無法理解，所以只能簡單歸類一下）
• 點擊查看筆記
• 源代碼
• 基于特征變換-以子空間為中心的方法
• 非監(jiān)督與半監(jiān)督
• 模型說明：
  
  
• 采用的技術：
  
  • 流形學習
  • 馬氏距離

[CVPR2017]Adversarial Discriminative Domain Adaptation

• 點擊查看筆記
• 基于特征變換-以子空間為中心的方法
• 非監(jiān)督
• 模型說明：
  
  
  
  
  • 虛線為固定參數(shù)
  • 先預訓練source domain上的分類器和source mapping，其中作者假設source domain和target domain共用一個分類器
  • 之后固定source domain上的參數(shù)，對抗性地訓練域分類器和target mapping
  • 測試期間則直接使用source domain上的分類器對映射后的target domain數(shù)據(jù)進行分類
  • （我本人的想法）分類器僅僅使用source domain上的數(shù)據(jù)進行訓練，可能并不能很好地推廣（泛化），畢竟僅僅使用source domain訓練的分類器可能會帶有一定的域特定特征（domain-separated feature）
• 采用的技術：
  
  • adversarial loss:
    
    • 作者的對抗性損失考慮的比較周到，這也是該論文的亮點，詳細的在筆記里有提到，這里就不再詳細說了
• 性能：
  
  
  
  
  

[cvpr2017]Deep Hashing Network for Unsupervised Domain Adaptation

• 點擊查看筆記
• 源代碼
• 基于特征變換-以子空間為中心的方法
• 非監(jiān)督
• 模型：
  
  
• 采用的技術：
  
  • 多層的的多核MMD(multi-kernel Maximum Mean Discrepancy (MK-MMD))
  • Hash：
    
    • 希望source domain學習到的哈希碼中，同一類的哈希碼盡可能相似，不同一類的哈希碼盡可能不同（相似度的概率度量使用漢明距離（Hamming Distance））
    • 希望target domain學習到的哈希碼能夠和source domain中某一類的圖片的哈希碼相似，但是和其他類的哈希碼不相似
• 特點：
  
  • 在數(shù)據(jù)量很龐大的時候，所以考慮到了哈希，可以利用哈希的快速查詢和低內(nèi)存使用
• 性能：
  
  
  
  
  
  
  
  

[cvpr2017]Joint Geometrical and Statistical Alignment for Visual Domain Adaptation

• 這篇文章我讀的比較吃力，近期內(nèi)我打算在學習LDA的相關知識以后再針對這篇文章進行校正，現(xiàn)在這篇筆記僅供參考
• 點擊查看筆記
• 源代碼
• 作者在他的網(wǎng)絡中學習兩個耦合的投影（coupled projections），將source domain和target domain上的數(shù)據(jù)映射到相應的子空間。在映射之后：
  
  • 最大化target domain上數(shù)據(jù)的方差以保留target domain上數(shù)據(jù)的特征
  • 保留source domain上數(shù)據(jù)的判別信息（discriminative information）以使得有效地傳送類別的信息
  • 最小化投影后的source domain和target domain上數(shù)據(jù)的條件分布差異(conditional distribution divergences)，在統(tǒng)計上(statistically)減少域偏移(domain shift)
  • 使得兩個域的投影之間的差異較小（子空間之間的差異較?。?，在幾何上（geometrically）減少域偏移（domain shift）。
  • 1) the variance of target domain is maximized,
    2) the discriminative information of source domain is preserved,
    3) the divergence of source and target distributions
    is small, and 4) the divergence between source and target
• 優(yōu)勢：
  
  • 與基于數(shù)據(jù)的方法不同，作者的方法不需要強大的假設:統(tǒng)一變換可以減少分布偏移，同時保留數(shù)據(jù)屬性。
  • 不同于基于子空間的適應方法，作者的方式不僅減少了子空間的幾何移動（reduce the shift of subspace geometries）并且減少了兩個域之間的分布偏移
  • 作者認為自己的方法可以很容易的擴展到kernelized（核方法）來處理域之間的偏移是非線性的情況
• 采用的技術：
  
  • LDA:
    
    • 線性判別分析
    • 線性判別分析LDA原理總結(jié)

[cvpr2017]Domain Adaptation by Mixture of Alignments of Second- or Higher-Order Scatter Tensors

• 這篇文章我看起來依然有些吃力，以下寫的僅供參考
• 點擊查看筆記
• 基于特征變換-以子空間為中心的方法
• 模型：
  
  
• 采用的技術：
  
  • 使用高階（二階或者更高）的scatter張量積作為衡量source domain和target domain的距離
• 特點：
  
  • 作者將自己的模型稱為Second or
    Higher-order Transfer of Knowledge (So-HoT)，是一個對source domain和target domain之間進行二階或者更高階次的統(tǒng)計量的一個對齊(alignment).
• 性能：