DiffRhythm是一款新型AI音樂生成模型，能在10秒內生成長達4分45秒的完整歌曲，包含人聲和伴奏。它採用簡單高效的全diffusion架構，僅需歌詞和風格提示即可創作，還支援本地部署，最低只需8G視訊記憶體。

音樂創作，尤其是完整歌曲的生成，一直是人工智慧領域的一大挑戰。

Suno、Udio等商用音樂生成大模型展現出驚人的音樂生成能力。但現有開放原始碼的音樂生成模型要麼只能生成人聲或伴奏，要麼依賴複雜的多階段架構，難以擴展到長音訊生成。

而現在，AI音樂破局時刻到了！

近日，西北工業大學音訊語音與語言處理實驗室（ASLP@NPU）和香港中文大學（深圳）的研究團隊提出了一種名為DiffRhythm（中文名：諦韻）的新型音樂生成AI模型，全diffusion架構，它能夠在短短10秒內生成長達4分45秒的不同風格完整雙軌高保真歌曲，包含人聲和伴奏！

最低僅需8G視訊記憶體，可本地部署到消費級顯示卡！

線上Demo: https://huggingface.co/spaces/ASLP-lab/DiffRhythm
Paper: https://arxiv.org/abs/2503.01183
Github: https://github.com/ASLP-lab/DiffRhythm
Hugging Face: https://huggingface.co/ASLP-lab/DiffRhythm-base

這一成果不僅刷新了音樂生成的速度，還大大簡化了生成流程，讓音樂創作變得更加高效和便捷。模型完全採用華為昇騰910B訓練，同時支援N卡。

目前模型和推理程式碼全部開源。開源短短幾天位列Hugging Face Space趨勢榜第一和總榜第五，受到眾多網友和音樂愛好者廣泛好評。

DiffRhythm 的核心優勢在於它的簡潔性和高效性。在模型方面它摒棄了複雜的多階段架構，採用了一個簡單的基於LLaMA的DiT，只需要歌詞和風格提示即可生成歌曲。

這種非自回歸結構確保了快速的推理速度，相比現有的語言模型方法，DiffRhythm的速度提升顯著，更適合即時應用和使用者互動。在資料方面，僅需音訊與對應歌詞，無需複雜資料處理標註流程，易於scale up到巨量資料。

DiffRhythm以歌詞和風格提示輸入，生成44.1kHz採樣率全長立體聲音樂作品（最長4分45秒）。

DiffRhythm由兩個順序訓練的模型組成：1) 變分自編碼器 (VAE)，學習音訊波形的緊湊潛在表示，使得分鐘級長音訊建模成為可能；2) DiT 建模 VAE 的潛在空間，通過迭代去噪生成歌曲。

在歌曲生成中，歌詞與歌聲的對齊是一個極具挑戰性的問題，可以概括為以下兩個方面：

時間上的不連續性：歌詞中的句子之間往往存在較長的間隔，這些間隔可能是純音樂部分，導致歌詞與歌聲之間的時間對應關係不連續。

伴奏的干擾：相同的一個字，在不同歌曲中的伴奏不同，唱法也不同，這使得歌聲的對齊更加複雜。

為瞭解決這些問題，DiffRhythm 提出了一種句子級對齊機制。具體來說，該機制僅依賴於句子起始時間的標註，通過以下步驟實現歌詞與歌聲的對齊：

句子分割與音素轉換：首先，將歌詞按照句子分割，並通過 Grapheme-to-Phoneme (G2P) 轉換將每個句子轉換為音素序列。

初始化潛在序列：建立一個與潛在表示長度相同的序列，並用填充符號（<pad>）初始化。

對齊音素與潛在表示：根據歌詞句子的起始時間戳，將音素序列對應到潛在表示的對應位置。例如，如果一個句子的起始時間是 10 秒，那麼對應的音素序列將被放置在潛在表示的第 10 秒位置。

通過這種方式，DiffRhythm 只需要句子起始時間的標註，即可實現歌詞與歌聲的對齊。

考慮到大量歌曲資料都以壓縮後的MP3格式存在，而高頻細節在壓縮過程中會受到損害，我們採用資料增強來賦予VAE修復功能。

具體來說，VAE以無損FLAC格式資料進行訓練，其中輸入經過MP3壓縮，而重建目標仍然是原始無損資料。通過這種有損到無損的重建過程，VAE學會將從失真壓縮資料中得出的潛在表示解碼回無損音訊訊號。

DiffRhythm的表現令人印象深刻。在音訊重建方面，它在無損和失真壓縮條件下都優於現有的基線模型。

在可視化分析中，可以看到DiffRhythm VAE可以有效修復MP3壓縮損失

在歌曲生成方面，DiffRhythm的生成歌曲在音質、音樂性和歌詞可理解性上都表現出色，與現有的SongLM模型相比，DiffRhythm的歌詞清晰度更高，推理速度更快。

儘管DiffRhythm已經可以快速生成整首歌曲，但仍有進一步最佳化的空間。例如，未來可能會通過在訓練中引入隨機掩碼來支援對生成歌曲的特定片段進行編輯。

此外，DiffRhythm 未來可能會引入自然語言條件機制，以實現更精細的風格控制，從而無需依賴音訊參考。

https://arxiv.org/abs/2503.01183 (新智元)

「躺著賺錢」「一鍵生成，月入 2w+」「0 基礎無腦出爆款」，這樣的標題是不是很常見，甚至有點心動？

AI 生成工具出來之後，做內容的確簡單太多了：一條 prompt 可以出音樂、出視頻，字幕口型也都可以自動配好。 剩下的，只要放到平臺上，賺播放量分成就行——真·躺著賺錢。

然而 FBI 看不下去了。 周三時，美國北卡羅來納州一名男子，被 FBI 提出刑事指控：他用 AI 工具生成了數十萬首歌，給它們編造了千奇百怪的樂隊、作曲家名，放到流媒體上掙分成。

關鍵是他戲做得很全，有「音樂」就要有「聽眾」。 為了沖播放量他還做了許多 bot 帳號，忙不過來的時候還會外包出去。

根據檢察官找到的電子郵件記錄，播放量據稱已經達到 40 億次，版稅收入達到 1200 萬美元。 FBI 提出的指控包括電信詐騙和洗錢等，單項指控最高面臨 20 年監禁。

FBI 稱，這會是第一起針對生成式 AI 音樂的刑事案件。

這個案子里的每一個操作，拆開來都不新鮮，全都是前人栽下的樹。

首先，把流媒體分成當作收入來源，早已有之。 任何流媒體上，播放次數一直都是重要分成標準，其次是廣告收入分成。 以 YouTube 為例，廣告分成通常是創作者 55%，平臺 45%。

國內的主流視頻平臺也都有平臺分成計劃，只是側重點各有不同。 例如 b 站的平臺分成，杯水車薪，主要還是靠粉絲打賞。 西瓜視頻的模式是保底+分成，最新的計劃中，粉絲播放可以獲得至少高於日常流量六倍的分成收入。

而抖音更傾向於直播打賞，跟平臺五五分成，涉及工會的另算。 短視頻的播放量、互動率等指標，也構成分成標準。

很清晰，想要在流媒體平臺上掙錢，重要的就是播放量，而播放量很容易造假。

在國內，「刷量」可能是更為所知的叫法。 針對視頻的刷量，是一門明碼標價的生意。 公安部網安局發佈過一條貴州公安機關打擊「網路水軍」的案件，涉案金額超過 470 萬。

圖片來源：公安部網安局公眾號

涉案帳號超過 2000 個，轉評讚數量超過 8000 萬次，從流覽量、關注量、評價數，都可以刷出來。

從作案現場的圖來看，還是「古典」的，更先進的刷量直接用腳本完成。

浙江省杭州市中級人民法院就審理過一起針對抖音的「智慧刷量」軟體。 在這款軟體上，只需要自己做基本設置，登錄帳號，就會跳轉到抖音，然後自動開始批量點讚、評論、轉發等一系列操作，直到完成設定目標。

自動化的刷量成本非常低，最誇張的情況，7 分錢可以買一萬播放量，4 毛錢可以增加一個粉絲。 面對平台越來越嚴格的帳號審核和監測，甚至有犯罪團夥盜取真人使用者的帳號，用來刷量。

在國內的司法情景中，刷量違反的是《反不正當競爭法》第八條，「經營者不得對其商品的性能、功能、品質、銷售狀況、用戶評價、曾獲榮譽等作虛假或者引人誤解的商業宣傳，欺騙、誤導消費者。」

如果案件後果嚴重，也是可以入刑的，《刑法》第二百八十六條規定，「對計算機資訊系統功能進行刪除、修改、增加、干擾，造成計算機資訊系統不能正常運行，後果嚴重的，處五年以下有期徒刑或者拘役; 後果特別嚴重的，處五年以上有期徒刑。」

總之，刷量早已有之，在那裡都屬於犯罪行為，那有沒有 AI，又有什麼不同呢？

不可否認的是，AI 工具的確解決了一些人的「創作夢想」。

在 FBI 這個案件中，主人公邁克爾·史密斯，或許曾經也有過一個音樂夢：

最早他也是自己寫原創歌曲，發佈到音樂網站上。 但是發現憑自己微薄的創作，帶來不了什麼很大的收益。

直到他開始和一家人工智慧公司合作，生產效率大增，每周能產出上千首歌，他再也不用操心怎麼充實曲庫了。

跟前面提到的案件不一樣，上述案件里，被告方通常是提供買量服務。 他們要麼有腳本、技術，要麼有帳號資源，或者應有盡有，根據客戶的要求接單。

至於要刷的是誰的短視頻、誰的網易雲排名，都無所謂，只要對方錢給的到位就行。

而史密斯，一個人就是一支隊伍。 他用 AI 軟體自己做歌、自己發佈，自己改代碼，自己部署 52 個雲端服務帳號，運轉一千多個假帳號。

他很清楚，自己需要足夠多的內容。 因為如果只有很少歌，即便這些歌曲的播放量很高，也很容易引起平臺的懷疑，從而下架甚至封禁帳號。 他的策略是，播放量可以少，但歌曲的總量一定要大。

所以他找到了人工智慧公司。 他會跟合作方提出自己的需求，要什麼類型的音樂、數量。 隨著這幾年技術的進步，他們生成的音樂品質也在提高，還可以添加人聲。 並且，史密斯完全擁有這些歌曲的智慧財產權。

這可能是這樁案件里最有爭議的部分：生成式內容，究竟是否應該享有一般人類創作作品的版權，尚且沒有定論。

在史密斯都沒有親自寫 prompt 的情況下，就讓他完全享有第三方公司幫他做出的音樂的版權了。

2019 年時，有平台發覺不對勁，通知了和史密斯合作的分銷公司。

得知這一消息，史密斯堅決否認自己的音樂是生成的，也否定自己在刷量，他不過是用了唱片公司都會用的行銷手段。

最終，紐約州南區地方法院以電信詐騙、從事非法交易活動等罪名指控史密斯，他已於本周被逮捕，等待審判。

這一整個局裡，成千上萬首歌，沒有一支是活人寫的，也沒幾個活人聽，只有到手的錢是真的。

雖然案件還沒有審理完畢，但引發了許多爭議。 有相當多的評論認為，史密斯並沒有做錯什麼。

有規定播放量必須來自真人嗎？ 有規定 AI 生成的音樂就不能參與分成計劃了嗎？ 平臺的流量分成既然是這個規則，他無非是聰明地利用了規則，也沒傷害別人。

至於說，他所掙到的錢本應該屬於真正辛苦的音樂人們——平臺最好是有這麼大方，就那點分成收益，音樂人們根本養活不了自己。

700多家全球科技公司、音樂平台近日收到了索尼音樂的“警告信”，警告它們不要在沒有明確許可的情況下使用其作品訓練AI。儘管索尼音樂沒有透露具體名單和警告內容，但據報導，Google、微軟、OpenAI等巨頭位居其中，索尼音樂對收信人寫道：「有理由相信」「可能已經未經授權」使用了其版權內容。

當地時間5月16日，索尼音樂集團在官網再次發布了單獨聲明：

強調除非有索尼音樂集團的明確授權，禁止將其音樂用於AI相關的任何內容，包括歌曲本身、歌詞、唱片封面等。

索尼音樂娛樂是全球三大唱片公司，旗下藝人有麥克傑克森、艾薇兒、碧昂絲等等。截至2022年3月底，其全球版權代理了超過五百萬首歌曲。公開報導顯示，國內的QQ音樂、網易雲音樂、抖音均與索尼音樂有版權合作關係，B站在2020年也與索尼音樂達成戰略合作。

索尼音樂在聲明中表示，公司不是拒絕擁抱技術，而是要正視AI的雙刃劍屬性：“我們支援藝術家和詞曲作者用新技術來支援他們的藝術。” “技術的進步經常改變創意產業， AI很可能也會延續這一趨勢。

據媒體披露，索尼音樂發給公司的警告信要求詳細說明，索尼音樂的哪些歌曲被用來訓練AI、這些歌曲是如何被訪問的、製作了多少副本、是否仍然存在副本、為什麼要留存副本。索尼音樂為各公司劃定了回覆的截止日期，並在公開信中表示，將在「所有司法管轄區適用法律允許的最大範圍內」保護其版權。

音樂大模型火熱背後，版權侵權戰火未曾停歇。今年1月，環球音樂在公開信中直接譴責TikTok放任AI音樂破壞藝術家的版權池，直接導致兩方合作關係破裂。 5月，在TikTok承諾刪除平台上的AI偽造內容後，雙方握手言和；而在更早的去年10月，環球音樂等三家唱片公司集體起訴Anthropic侵權使用了音樂作品訓練大模型，索賠7500萬美元。

從法律角度來看，使用音樂版權作品訓練AI能否構成侵權還沒有確鑿結論，目前的司法實踐集中於個人的聲音權。例如今年3月，美國田納西州規定未經藝術家同意，用AI模仿其聲音違法；近期，北京互聯網法院就全國首例“AI聲音侵權案”作出判決，法院強調，如果通過AI聲音能夠“辨識」出某個具體自然人，自然人的聲音權益也適用於AI聲音。此外對錄音製品的授權，不意味著聲音AI化的授權。未經權利人許可，擅自使用或授權他人使用錄音製品中的聲音構成侵權。

4月23日，北京網際網路法院就首例「AI聲音侵權案」作出一審判決，認定被告北京某文化傳媒公司、某軟件公司未經原告許可，AI化了原告聲音，構成對原告聲音權益的侵犯，原告獲賠25萬元。此外，採購並向大眾公開該AI產品的科技公司，需要向原告賠禮道歉。

北京網際網路法院明確認定，在具備可辨識性的前提下，自然人聲音權益的保護範圍可及於AI生成聲音。並且對錄音製品的授權，並不意味著聲音AI化的授權。未經權利人許可，擅自使用或授權他人使用錄音製品中的聲音構成侵權。

我國《民法典》在2020年將「聲音權」納入了法律保護。民法第1023條規定，對自然人聲音的保護參照適用肖像權的保護，明確將聲音權益作為特殊的人格利益予以保護。

聲音可以成為識別個人身份的重要依據，因此具有重要的人身屬性。北京網際網路法院也指出，如果一般社會大眾能夠根據音色、語調和發音風格，將聲音關聯到自然人，則認定為具有可識別性。在具有可辨識性的前提下，聲音權益適用於AI聲音。

在此後的司法實踐中，北京互聯網法院認為，AI生成聲音可識別性的認定應綜合考慮行為人使用情況，並以相關領域普通聽眾能否識別作為判斷標準。

浙江墾丁律師事務所律師單啟迪告訴記者，本案第一次將民法典規定的聲音權益保護在司法實踐中落實，在AI換臉、AI換聲、AI深度偽造氾濫的當下具有非常積極的意義。

奧斯卡得主參與聯名反對  AI音樂打開了潘朵拉魔盒？

音樂圈今年連連地震：先是3月初，被稱為「音樂版ChatGPT」的Suno免費開放，一般人可以在幾秒鐘內產生完整的兩分鐘歌曲。隨後4月2日，兩百多名全球知名音樂人在公開信中反對AI濫用，要求科技公司承諾不開發、破壞或取代人類藝術家的AI。

246位歐美知名藝人在這封信下署名，包括最近拿到奧斯卡最佳原創歌曲獎的比莉·艾利甚（Billie Eilish）、“水果姐”凱蒂·佩裡（Katy Perry）、夢龍樂團（Imagine Dragons) ，也有已經過世的音樂巨腕遺產相關方。

這些藝人在公開信中強調他們並非全盤否定AI，「當負責任地使用AI時，我們相信這一技術有巨大的潛力增進人類的創造力。」但他們認為一些平台和開發者正在利用AI削弱音樂人的地位，必須防止掠奪性使用AI，否則會對創作者們保護隱私、身份、音樂和生計的能力帶來巨大威脅，長期還會讓整個音樂產業滑坡。

卓建律師事務所文娛體育法律研究中心主任丁濤告訴記者，「生成音樂的行為往往涉及多個權利主體，例如詞曲作者、錄音製作者、表演者。在AI技術的發展過程中，如何取得授權、如何分配收益目前是被忽略的。（21世紀經濟報導）

#AI音樂 你可以在這裡找到鉅亨號中所有使用「AI音樂」為關鍵字所發布的內容