騰訊混元發佈開源大模型加速庫 證券時報記者從騰訊方面獲悉，6月6日，騰訊發佈針對騰訊混元文生圖開源大模型（以下簡稱為混元DiT模型）的加速庫，讓推理效率大幅提升，生圖時間縮短75%。 據騰訊方面介紹，混元DiT模型的使用門檻也大幅降低。使用者可以基於ComfyUI的圖形化介面，使用騰訊混元文生圖模型能力。同時，混元DiT模型已經部署至HuggingFaceDiffusers通用模型庫中，使用者僅用三行程式碼即可呼叫混元DiT模型，無需下載原始程式碼庫。 具體來看，項目組通過知識蒸餾和TensorRT高性能推理框架，實現了DiT模型的採樣步數壓縮與高效推理部署。蒸餾主要指降低擴散模型迭代的步數實現加速。模型整體結構和參數量不變，使用者在無需任何額外的操作和裝置要求下使用蒸餾權重，即可降低50%迭代步數，實現耗時減半。TensorRT推理加速方案通過工程最佳化，可以進一步降低耗時，並且和模型權重解耦。同時使用兩者進行推理部署，可將推理時間縮短75%。