(相關(guān)資料圖)
多模態(tài)機器學(xué)習(xí)在各種場景下都取得了令人矚目的進展。然而，多模態(tài)學(xué)習(xí)模型的可靠性尚缺乏深入研究。「信息是消除的不確定性」，多模態(tài)機器學(xué)習(xí)的初衷與這是一致的——增加的模態(tài)可以使得預(yù)測更為準確和可靠。然而，最近發(fā)表于 ICML2023 的論文《Calibrating Multimodal Learning》發(fā)現(xiàn)當(dāng)前多模態(tài)學(xué)習(xí)方法違法了這一可靠性假設(shè)，并做出了詳細分析和矯正。
圖片
論文 Arxiv：https://arxiv.org/abs/2306.01265代碼 GitHub：https://github.com/QingyangZhang/CML當(dāng)前的多模態(tài)分類方法存在不可靠的置信度，即當(dāng)部分模態(tài)被移除時，模型可能產(chǎn)生更高的置信度，違反了信息論中 「信息是消除的不確定性」這一基本原理。針對此問題，本文提出校準多模態(tài)學(xué)習(xí)（Calibrating Multimodal Learning）方法。該方法可以部署到不同的多模態(tài)學(xué)習(xí)范式中，提升多模態(tài)學(xué)習(xí)模型的合理性和可信性。
圖片
該工作指出，當(dāng)前多模態(tài)學(xué)習(xí)方法存在不可靠的預(yù)測置信度問題，現(xiàn)有多模態(tài)機器學(xué)習(xí)模型傾向于依賴部分模態(tài)來估計置信度。特別地，研究發(fā)現(xiàn)，當(dāng)前模型估計的置信度在某些模態(tài)被損壞時反而會增加。為了解決這個不合理問題，作者提出了一個直觀的多模態(tài)學(xué)習(xí)原則：當(dāng)移除模態(tài)時，模型預(yù)測置信度不應(yīng)增加。但是，當(dāng)前的模型卻傾向于相信部分模態(tài)，容易受到這個模態(tài)的影響，而不是公平地考慮所有模態(tài)。這進一步影響了模型的魯棒性，即當(dāng)某些模態(tài)被損壞時，模型很容易受到影響。
為了解決上述問題，目前一些方法采用了現(xiàn)有的不確定性校準方法，例如 Temperature Scaling 或貝葉斯學(xué)習(xí)方法。這些方法可以構(gòu)建比傳統(tǒng)訓(xùn)練 / 推理方式更準確的置信度估計。但是，這些方法只是使最終融合結(jié)果的信心估計與正確率匹配，并沒有明確考慮模態(tài)信息量與信心之間的關(guān)系，因此，無法本質(zhì)上提升多模態(tài)學(xué)習(xí)模型的可信性。
作者提出了一個新的正則化技術(shù)，稱為 “Calibrating Multimodal Learning (CML)”。該技術(shù)通過添加一項懲罰項來強制模型預(yù)測信心與信息量的匹配關(guān)系，以實現(xiàn)預(yù)測置信度和信息量之間的一致性。該技術(shù)基于一種自然的直覺，即當(dāng)移除一個模態(tài)時，預(yù)測置信度應(yīng)該降低（至少不應(yīng)該增加），這可以內(nèi)在地提高置信度校準。具體來說，提出了一種簡單的正則化項，通過對那些當(dāng)移除一個模態(tài)時預(yù)測置信度會增加的樣本添加懲罰，來強制模型學(xué)習(xí)直觀的次序關(guān)系：
上面的約束為正則損失，當(dāng)模態(tài)信息移除信心上升時作為懲罰出現(xiàn)。
實驗結(jié)果表明，CML 正則化可以顯著提高現(xiàn)有多模態(tài)學(xué)習(xí)方法的預(yù)測置信度的可靠性。此外，CML 還可以提高分類精度，并提高模型的魯棒性。
多模態(tài)機器學(xué)習(xí)在各種情境中取得了顯著的進展，但是多模態(tài)機器學(xué)習(xí)模型的可靠性仍然是一個需要解決的問題。本文通過廣泛的實證研究發(fā)現(xiàn)，當(dāng)前多模態(tài)分類方法存在預(yù)測置信度不可靠的問題，違反了信息論原則。針對這一問題，研究人員提出了 CML 正則化技術(shù)，該技術(shù)可以靈活地部署到現(xiàn)有的模型，并在置信度校準、分類精度和模型魯棒性方面提高性能。相信這個新技術(shù)將在未來的多模態(tài)學(xué)習(xí)中發(fā)揮重要作用，提高機器學(xué)習(xí)的可靠性和實用性。
標(biāo)簽：
