想象一下，您正在構(gòu)建用于手寫筆跡的下一代機器學(xué)習(xí)模型。根據(jù)產(chǎn)品的先前迭代，您已經(jīng)確定了此部署的主要挑戰(zhàn)：部署后，新的最終用戶通常具有不同且看不見的筆跡樣式，從而導(dǎo)致發(fā)行轉(zhuǎn)移。解決此難題的一種方法是學(xué)習(xí)一種自適應(yīng)模型，該模型可以隨著時間的推移專門化并適應(yīng)每個用戶的筆跡樣式。該解決方案看似很有希望，但必須與對易用性的關(guān)注進行權(quán)衡：要求用戶向模型提供反饋可能很麻煩并且阻礙了采用。而是可以學(xué)習(xí)一個無需標(biāo)簽即可適應(yīng)新用戶的模型嗎？

在許多情況下，包括此示例，答案是“是”?？紤]下圖中放大顯示的歧義示例。此字符是帶循環(huán)的“ 2”還是雙層“ a”？對于關(guān)注訓(xùn)練數(shù)據(jù)偏差的非自適應(yīng)模型，合理的預(yù)測將為“ 2”。但是，即使沒有標(biāo)簽，我們也可以從用戶的其他示例中提取有用的信息：例如，一個自適應(yīng)模型可以觀察到該用戶寫了“ 2”且沒有循環(huán)，并得出結(jié)論認為該字符更有可能是“ a”。 ”。

處理因?qū)⒛Ｐ筒渴鸬叫掠脩舳a(chǎn)生的分布變化，是無標(biāo)簽適應(yīng)的重要激勵示例。但是，這遠非唯一的例子。在瞬息萬變的世界中，自動駕駛汽車需要適應(yīng)新的天氣條件和位置，圖像分類器需要適應(yīng)具有不同內(nèi)在特性的新相機，推薦系統(tǒng)則需要適應(yīng)用戶不斷變化的偏好。通過從測試示例的分布中推斷出信息，人類已經(jīng)證明了無需標(biāo)簽就能適應(yīng)的能力。我們是否可以開發(fā)允許機器學(xué)習(xí)模型執(zhí)行相同操作的方法？

這個問題已引起研究人員的越來越多的關(guān)注，最近的許多工作提出了無標(biāo)記的測試時間適應(yīng)方法。在這篇文章中，我將調(diào)查這些作品以及其他處理分配偏移的杰出框架。有了這個大背景下，我會再討論我們最近的工作（見文章在這里和代碼在這里），其中我們提出了一個問題，制定我們長期適應(yīng)性風(fēng)險最小化，或ARM。

進入分配轉(zhuǎn)移

機器學(xué)習(xí)中的絕大多數(shù)工作都遵循經(jīng)驗風(fēng)險最小化（ERM）的規(guī)范框架。ERM方法假定沒有分布偏移，因此測試分布與訓(xùn)練分布完全匹配。該假設(shè)簡化了強大的機器學(xué)習(xí)方法的開發(fā)和分析，但是，如上所述，在現(xiàn)實世界的應(yīng)用程序中通常會違反這一假設(shè)。為了超越ERM并學(xué)習(xí)面對分銷變化而泛化的模型，我們必須引入其他假設(shè)。但是，我們必須謹(jǐn)慎選擇這些假設(shè)，以使它們?nèi)匀皇乾F(xiàn)實的并且廣泛適用。

我們?nèi)绾伪３脂F(xiàn)實性和適用性？答案之一是根據(jù)機器學(xué)習(xí)系統(tǒng)在現(xiàn)實世界中面臨的條件對假設(shè)進行建模。例如，在ERM設(shè)置中，一次在每個測試點上評估模型，但在現(xiàn)實世界中，這些測試點通?？梢皂樞蚧蚺渴褂谩＠?，對于筆跡轉(zhuǎn)錄，我們可以想象從新用戶那里收集整個句子和段落。如果存在分布偏移，則即使沒有標(biāo)簽，也可以觀察多個測試點來推斷測試分布或以其他方式使模型適應(yīng)此新分布。

使用此假設(shè)的許多最新方法可以歸類為測試時間適應(yīng)性，包括批處理歸一化，標(biāo)簽偏移估計，旋轉(zhuǎn)預(yù)測，熵最小化等。通常，這些方法會產(chǎn)生強大的歸納偏置，從而可以進行有用的調(diào)整。例如，旋轉(zhuǎn)預(yù)測與許多圖像分類任務(wù)完全吻合。但是這些方法通常要么建議啟發(fā)式訓(xùn)練程序，要么根本不考慮訓(xùn)練程序，而是依靠預(yù)先訓(xùn)練的模型。1個 這就引出了一個問題：可以通過改進訓(xùn)練來進一步提高測試時間的適應(yīng)性，從而使模型可以更好地利用適應(yīng)性程序嗎？

我們可以通過研究其他重要的框架來處理分配變動，尤其是這些框架所做的假設(shè)，來深入了解這個問題。在實際應(yīng)用中，訓(xùn)練數(shù)據(jù)通常不僅僅由輸入標(biāo)簽對組成；而是由輸入標(biāo)簽對組成。相反，還有與每個示例關(guān)聯(lián)的其他元數(shù)據(jù)，例如時間和位置，或手寫示例中的特定用戶。這些元數(shù)據(jù)可用于將訓(xùn)練數(shù)據(jù)分組，2在許多框架中，一個普遍的假設(shè)是測試時間分布的變化代表新的組分布或新的組。這個假設(shè)仍然允許各種各樣的實際分布變化，并推動了許多實際方法的發(fā)展。

例如，領(lǐng)域適應(yīng)方法通常假定訪問兩個訓(xùn)練組：源數(shù)據(jù)和目標(biāo)數(shù)據(jù)，后者是從測試分布中提取的。因此，這些方法例如通過重要性 加權(quán)或?qū)W習(xí)不變 表示來增強訓(xùn)練以集中于目標(biāo)分布。為方法組 分布式地穩(wěn)健 優(yōu)化和域名 推廣不要直接假設(shè)訪問測試分布中的數(shù)據(jù)，而是使用從多個培訓(xùn)組中提取的數(shù)據(jù)來學(xué)習(xí)一個模型，該模型可以在測試時推廣到新的組（或新的組分布）。因此，這些先前的工作主要集中在訓(xùn)練過程上，并且通常在測試時不適應(yīng)（盡管名稱為“領(lǐng)域適應(yīng)”）。

結(jié)合訓(xùn)練和測試假設(shè)

先前的分配變動框架假設(shè)采用培訓(xùn)小組或測試批次，但是我們不知道有任何使用這兩種假設(shè)的先前工作。在我們的工作中，我們證明正是這種結(jié)合使我們能夠通過模擬訓(xùn)練時的偏移和適應(yīng)過程來學(xué)習(xí)適應(yīng)測試時間分布的偏移。通過這種方式，我們的框架可以理解為元學(xué)習(xí)框架，并且我們將感興趣的讀者推薦給這篇博客，以獲取有關(guān)元學(xué)習(xí)的詳細概述。

自適應(yīng)風(fēng)險最小化

我們的工作提出了自適應(yīng)風(fēng)險最小化（ARM），這是一個問題設(shè)置和目標(biāo)，在培訓(xùn)時同時使用兩組，在測試時進行批量處理。通過元學(xué)習(xí)的角度，這種綜合為如何訓(xùn)練測試時間適應(yīng)性問題提供了一個通用的原則性答案。特別地，我們使用訓(xùn)練組啟用的模擬分布偏移對模型進行元訓(xùn)練，以使其表現(xiàn)出強大的自適應(yīng)能力每個班次的表現(xiàn)。因此，該模型直接學(xué)習(xí)如何最好地利用適應(yīng)過程，然后在測試時以完全相同的方式執(zhí)行該過程。如果我們能夠確定可能發(fā)生哪些測試分布變化，例如查看新的最終用戶的數(shù)據(jù)，那么我們可以更好地構(gòu)建模擬的訓(xùn)練變化，例如僅從一個特定的訓(xùn)練用戶那里采樣數(shù)據(jù)。

上圖顯示了用于優(yōu)化ARM目標(biāo)的培訓(xùn)過程。從訓(xùn)練數(shù)據(jù)中，我們對模擬不同群體分布變化的不同批次進行采樣。這樣，適應(yīng)模型就有機會使用未標(biāo)記的示例來適應(yīng)模型參數(shù)。這允許我們通過直接在模型和適應(yīng)模型上執(zhí)行梯度更新來對模型進行元訓(xùn)練，以適應(yīng)后的性能。

我們從上下文元學(xué)習(xí)（左）和基于梯度的元學(xué)習(xí)（右）中汲取靈感，以便為ARM設(shè)計方法。對于上下文元學(xué)習(xí)，我們研究了屬于此類別的兩種不同方法。這些方法在我們的論文中有詳細描述。

與元學(xué)習(xí)的聯(lián)系是ARM框架的主要優(yōu)勢之一，因為在設(shè)計解決ARM的方法時我們并非從頭開始。特別是在我們的工作中，我們從上下文元學(xué)習(xí)和基于梯度的元學(xué)習(xí)中汲取了靈感，以開發(fā)出三種解決ARM的方法，我們將其命名為ARM-CML，ARM-BN和ARM-LL。我們在這里省略了這些方法的詳細信息，但是它們在上圖中進行了說明，并在本文中進行了全面描述。

我們構(gòu)建的方法的多樣性證明了ARM問題表述的多功能性和普遍性。但是我們實際上使用這些方法觀察到了經(jīng)驗收益嗎？接下來我們調(diào)查這個問題。

實驗

在我們的實驗中，我們首先對四種顯示組分布偏移的不同圖像分類基準(zhǔn)進行了與各種基準(zhǔn)，先前方法和消融相比的ARM方法的全面研究。我們的文章提供了基準(zhǔn)和比較的完整詳細信息。

我們發(fā)現(xiàn)，與以前的方法相比，ARM方法憑經(jīng)驗得出的結(jié)果是，各組的最壞情況（WC）和平均（Avg）性能都更好，表明最終訓(xùn)練模型的魯棒性和性能都更好。

在我們的主要研究中，我們發(fā)現(xiàn)，與許多先前的方法以及其他基準(zhǔn)和消減方法相比，ARM方法在最壞情況和各組的平均測試性能方面總體上表現(xiàn)更好。ARM-BN的最簡單方法（只需幾行附加代碼即可實現(xiàn)）通常效果最佳。這從經(jīng)驗上顯示了元學(xué)習(xí)的好處，因為可以對模型進行元訓(xùn)練以充分利用自適應(yīng)程序。

我們還進行了一些定性分析，其中我們調(diào)查了與開頭描述的激勵示例相似的測試情況，該用戶編寫了雙層a。我們憑經(jīng)驗發(fā)現(xiàn)，在給定足夠多的用戶手寫示例（包括其他“ a”和“ 2”）的情況下，使用ARM方法訓(xùn)練的模型實際上確實可以成功地適應(yīng)和預(yù)測“ a”。因此，這證實了我們最初的假設(shè)：訓(xùn)練自適應(yīng)模型是應(yīng)對分布偏移的有效方法。

我們認為，從一開始的激勵實例和本文的實證結(jié)果就令人信服地主張進一步研究自適應(yīng)模型的通用技術(shù)。我們提出了對這些模型進行元訓(xùn)練以更好地利用它們的適應(yīng)能力的通用方案，但是仍然存在許多懸而未決的問題，例如自己設(shè)計更好的適應(yīng)程序。這一廣泛的研究方向?qū)τ跈C器學(xué)習(xí)模型在復(fù)雜的實際環(huán)境中真正實現(xiàn)其潛力至關(guān)重要。