【資料圖】
編程客棧() 6月25日消息:大型語言模型（LLMs）近幾個月一直備受關注。作為人工智能領域最重要python的進展之一，這些模型正在改變人機交互的方式。隨著各行各業紛紛采用這些模型，它們成為人工智能在全球蔓延的最佳例證。
LLMs 在處理復雜交互和知識檢索任務時表現出色，其中最著名的例子是由 OpenAI 開發的 ChatGPT聊天機器人，它基于 GPT 3.5 和 GPT 4 的 Transformer 架構。除了文本生成外，還開發了像 CLIP（對比性語言圖像預訓練）這樣的模型，用于圖像生編程客棧成，使得可以根據圖像的內容生成文本。
為了在音頻生成和理解方面取得進展，Google 的研究團隊推出了 AudioPaLM，這是一個大型語言模型，可以處理語音理解和生成任務。AudioPaLM 結合了兩個現有模型的優勢，即 PaLM-2 模型和 AudioLM 模型，以產生一個統一的多模態架構，能夠處javascript理和生成文本和語音。這使得 AudioPaLM 可以處理各種應用，從語音識別到語音轉文字。
雖然 AudioLM 在保持諸如說話者身份和語氣信息方面表現出色，而以文本為基礎的語言模型 PaLM-2 則專注于特定于文本的語言知識。通過結合這兩個模型，AudioPaLM 利用了 PaLM-2 的語言專業知識和 AudioLM 的附加語言信息保存能力，從而更全面地理解和生成文本和語音。
AudioPaLM 使用一個聯合詞匯表，可以使用有限數量的離散標記表示語音和文本。將這個聯合詞匯表與標記化的任務描述相結合，可以在各種聲音和基于文本的任務上訓練單個解碼器模型。傳統上需要單獨模型來處理的語音識別、文本轉語音合成和語音到語音翻譯等任務現在可以統一到一個架構和訓練過程中。
經過評估，AudioPaLM 在語音翻譯方面的表現明顯優于現有系統。它展示了對語言組合執行零樣本語音到文本翻譯的能力，也就是說，它可以準確地將從未遇到過的語言的語音翻譯成文本，為更廣泛的語言支持開辟了可能性。
AudioPaLM 還可以基于簡短的口語提示在語言之間進行聲音轉換，并能捕捉并重現不同語言中的獨特聲音，實現語音轉換和適應。
團隊提到的 AudioPaLM 主要貢獻包括：
總而言之，AudioPaLM 是一個統一的大型語言模型，通過利用基于文本的語言模型的能力和整合音頻提示技術，可以同時處理語音和文本，成為 LLM 列表中強有力的補充。
AudioPaLM Hugging Face 頁面：https://huggingface.co/papers/2306.12925
標簽：
