Сообщения пользователя Ivan_Shaiva: Можно ли заменить вокал в готовой песне

Я вообще это не пробовал, я просто знаю как это делают.

Нейросетевой голос Летова близко к Летову. Это поет не Летов, а нейросеть.

1. Голосовой клонинг (Voice Cloning)

Эти нейросети могут копировать голос человека на основе его записей, а затем синтезировать новую речь или пение.
Лучшие инструменты:

ElevenLabs (elevenlabs.io) – один из лучших сервисов для клонирования голоса с поддержкой эмоций и пения (в экспериментальном режиме).

Resemble.AI (resemble.ai) – позволяет клонировать голос и генерировать речь или пение.

Play.ht (play.ht) – поддерживает клонирование голоса и генерацию речи.

2. Синтез пения (Singing Voice Synthesis)

Если нужно именно пение, а не речь, подойдут модели, специально обученные на вокальных данных:

VITS (SVC — Singing Voice Conversion) – технология, используемая в таких проектах, как So-VITS-SVC (есть открытые реализации на GitHub).

Diff-SVC – нейросеть на основе диффузионных моделей, хорошо подходит для преобразования голоса в пение.

RVC (Retrieval-Based Voice Conversion) – популярный инструмент для замены голоса в песнях (используется в аниме- и VTuber-сообществах).

3. Готовые музыкальные AI-инструменты

Некоторые сервисы позволяют загружать голос и создавать музыку:

Voicemod (voicemod.net) – простой инструмент для изменения голоса в реальном времени.

Kits.AI (kits.ai) – сервис для создания вокальных моделей и синтеза пения.

Как это сделать?

Соберите записи голоса (чем больше, тем лучше, желательно чистые аудио без фонового шума).

Обучите модель (например, в ElevenLabs, So-VITS-SVC или RVC).

Сгенерируйте новый вокал (можно наложить на музыку через аудиоредактор).

Я ответил Вам на ваш вопрос. Берете любой голос и грузите в неройсеть. Неважно чей и тренируете модель. Пример я привел, что было понятно. Вот так они это и делают. С помощью нейросетей. Больше никак это не сделаешь. Странно что вы не поняли.

При чем тут игра в гаммы и разминание пальчиков? Разве это поможет в той задачи, которая в теме форума? Этим ты никак не сделаешь песню голосом умершего человека. Вопрос же в этом был. Как они это делают. Хотя ответ очевиден.

Развели какой то детский лепет, который касается чисто вкусовщины.

Сначала девушка задает вопрос как они это делают, я даю ответ с достаточно качественным примером.

Начинается манная каша..

Один вообще не понимает как это делается и рассуждает не по делу. Другая уже оказывается разбирается и понимает якобы как это делается и можно оказывается сделать и лучше.. Зачем тогда вообще создавать такую тему, если Вы знаете как и сделаете лучше.

Можно по разному относится к нейротехнолгиям. Вопрос не в этом. Нейронку можно натренировать очень качественно, что бы голос был очень похож. И порой достаточно маленького отрезка. Хотя примеров должно быть все таки побольше.

Если честно каким то бредом занимаетесь, вместо того, что бы по теме говорить. Если Вас не устроил пример, можно найти более качественные ИИ кавера, где все предельно понятно. Можно так же найти видеоуроки и статьи по этой теме. Как обучать и как делать песни на основе таких голосов. Было бы желание.

Как это не похожи, когда очень похожи. Текст хотя бы послушайте. Таких ИИ каверов очень много. Люди не знаю что хотят. Просто как эксперимент. Кормят нейронке голоса известных музыкантов и они поют разные песни, которые не пели. Получается как по мне реалистично. Так что оживить голос ушедшего человека достаточно легко, даже скормив ему разговорную речь, каким то чудесным образом поющий голос получается очень приближенным.

Да, легко. Скормят этот голос нейронке и будет Вам песня с вокалом очень близким к оригиналу. Это уже давно существует. Послушайте как тот же Летов поет песню Максим и так далее.. Этим мусором интернет завален. Так что технология есть и это достаточно легко сделать.