M2UGen：一款多模态音乐理解和生成框架 | AI启航工具箱（OPEN AICHINES）

腾讯发布多模态音乐生成模型M2UGen 支持图片、视频生成音乐，M2UGen是一款引领潮流的框架，融合了音乐理解和多模态音乐生成任务，旨在助力用户进行音乐艺术创作。通过其强大的功能，M2UGen提供了全方位的音乐生成和编辑体验。

M2UGen演示地址：https://huggingface.co/M2UGen

M2UGen项目地址：https://github.com/shansongliu/M2UGen

M2UGen论文地址：https://arxiv.org/abs/2311.11255

M型2UGen模型是一种音乐理解和生成模型，能够从文本，图像，视频和音频中进行音乐问答和音乐生成，以及音乐编辑。该模型利用编码器，如用于音乐理解的 MERT、用于图像理解的 ViT 和用于视频理解的 ViViT，以及 MusicGen/AudioLDM2 模型作为音乐生成模型（音乐解码器），以及适配器和 LLaMA 2 模型。

音乐的产生和理解

我们介绍M2UGen框架，能够同时包括音乐理解和多模态音乐生成任务，旨在协助用户进行与音乐相关的艺术创作。

面向音乐的数据集

我们提出了一种系统化的方法，用于生成大面向多模态音乐的指令数据集，我们使用 MU-LLaMA 模型和 MosaicML 的 MPT-7B-Chat 模型来生成面向音乐的数据集。

我们还利用BLIP图像字幕模型和VideoMAE字幕模型来为各自的模态添加字幕。

除了可以从文字生成音乐外，它还支持图像、视频和音频生成音乐，并且还可以编辑已有的音乐。该项目利用了MERT等编码器进行音乐理解，ViT进行图像理解，ViViT进行视频理解，并使用MusicGen/AudioLDM2模型作为音乐生成模型（音乐解码器）。用户可以轻松移除或替换特定乐器，调整音乐的节奏和速度。这使得用户能够创造出符合其独特创意的音乐作品。

此外，M2UGen还加入了适配器和LLaMA2模型，使得该模型具备多种能力。

相关导航

notesGPT：语音笔记GPT工具

notesGPT，一个能够录下你的语音内容，然后自动帮助你把这些语音转成文字，对内容进行总结，创建具有视觉吸引力的文档，并能够添加图像、待办事项列表、图表、链接和多媒体内容，使您的笔记更具表现力和全面性。

Beeble AI

Extract 3D Geometry and PBR maps from video for integration with any 3D software. New era of storytelling with precise lighting and parallax, all in post-production.Beeble A!是一个尖端的虚拟制片平台，利用人工智能的力量使用户能够实现逼真的图像合成。

IP-Adapter-FaceID：AI换脸工具

IP-Adapter-FaceID模型利用面部识别模型的面部ID嵌入，可以更准确地捕捉和再现特定人物的面部特征。结合文本描述生成可以生成高度个性化且与原始面部特征一致的图像。意思就是你只要上传几张自己的照片，就能生成你在各种场景下的照片，克隆你的脸。The IP-Adapter-FaceID model, Extended IP Adapter, Generate various style images conditioned on a face with only text prompts. Face consistency and realism

FaceChain

妙鸭相机虽然好用，但它是一个需要付费的应用。现在，一个名为 FaceChain 的开源项目可以用 AI 模型打造人物写真。

DragGAN_AI启航,专注ai人工智能!

GitHub is where over 100 million developers shape the future of software, together. Contribute to the open source community, manage your Git repositories, review code like a pro, track bugs and features, power your CI/CD and DevOps workflows, and secure code before you commit it.

DeepFaceLab

DeepFaceLab是一种利用深度学习识别来交换图片和视频中的人脸的工具。这种技术在特定的场合下可以做出非常逼真自然的换脸视频。而 DeepFaceLab 是众多软件中，安装最简单，使用最方便，更新最快的一款软件。