Песни искусственного интеллекта: почему они звучат так живо

Архитектура эмоций: как трансформеры и диффузия создают музыку

Чтобы понять, почему генерация песен нейросетью вдруг стала неотличима от живого исполнения, нужно заглянуть внутрь той машины, которая их производит. За последние два года в синтезе звука произошёл тихий переворот — и, как это часто бывает с тихими переворотами, его не сразу заметили даже те, кто работает в индустрии. Два семейства архитектур — трансформеры и модели латентной диффузии — оказались способны делать то, что инженеры считали почти невозможным ещё пять лет назад: улавливать не только ноты и ритм, но и саму ткань человеческой интонации.

Трансформеры, те самые, что стоят за языковыми моделями, удивительно хорошо работают и с музыкой — потому что музыка, по сути, тоже язык. У неё есть своя грамматика, свой синтаксис, свои длинные и короткие фразы. Модели вроде AudioLM и MusicLM обучаются на огромных массивах аудио, выявляя паттерны: как именно звучит вздох перед кульминацией, где обычно появляется пауза, какой тембр возникает, когда человек поёт о потере. В этих моделях сотни миллионов параметров, и каждый из них — маленькая частица статистического знания о том, как устроено живое звучание.

Но главный прорыв случился благодаря механизму латентной диффузии — и именно его чаще всего используют современные генераторы вроде Suno и Udio. Схема выглядит почти волшебно: пользователь пишет текстовое описание — например, "тёплый инди-фолк с мужским вокалом, акустическая гитара, фортепиано, атмосфера поздней осени" — и нейросеть шаг за шагом превращает эти слова в спектрограмму, а затем в готовый звуковой файл. Внутри происходит постепенное "проявление" звука из шума: модель итеративно убирает случайность, пока из неё не складывается узнаваемая мелодия с голосом. Это похоже на то, как фотограф проявляет плёнку в тёмной комнате — только вместо света и реактивов работает математика вероятностей.

Микродинамика и «ошибки»: почему ИИ перестал звучать механически

Долгое время у синтетического голоса был один верный признак — и мы все его знали, даже не отдавая себе отчёта. Это была неестественная гладкость. Машина пела ровно, чисто, без запинки — и именно эта безупречность выдавала её с потрохами. Человеческий голос — штука неидеальная: он спотыкается, дышит, проглатывает согласные, чуть дрожит на высоких нотах, чуть проваливается там, где устал. Вся эта "неаккуратность" и есть то, что мы слышим как жизнь.

ИИ научился воспроизводить не совершенство, а именно ту меру несовершенства, которая отличает живое от синтетического.

Современные генеративные модели изменили эту картину радикально. Они не просто имитируют вокал — они моделируют микродинамику: едва уловимые изменения громкости на стыке фраз, крошечные задержки вдоха, дрожь в связках, артикуляционные паузы, которые ещё недавно считались безусловным признаком живого исполнения. Когда нейросеть обучается на тысячах часов реальных записей, она впитывает и эти "ошибки" — и начинает воспроизводить их с той же естественностью, с какой живые музыканты их допускают. Ей словно передаётся не только голос, но и характер его обладателя.

Есть в этом что-то по-человечески трогательное. Мы десятилетиями стремились к техническому совершенству звука — без шума, без артефактов, без лишних вздохов. А потом машина пришла и тихо сказала нам: оказывается, вздох — это тоже часть музыки. И мы вдруг поняли, как сильно скучали по этой неидеальности, которую сами же когда-то вычистили из своих записей.

Технология RVC и феномен вирусных AI-каверов

Параллельно с генеративными моделями в 2023 году интернет захлестнула волна AI-каверов — песен, в которых знакомые мелодии исполняются голосами, казалось бы, совершенно других артистов. Фредди Меркьюри поёт "Бесаме мучо", Олег Анофриев исполняет Билли Айлиш, японская поп-звезда поёт русский романс, рэпер из 2010-х внезапно оказывается на сцене джазового стандарта. Эти ролики собирают десятки миллионов просмотров, и за каждым из них стоит конкретная технология — RVC, или Retrieval-based Voice Conversion.

RVC работает иначе, чем генеративные Suno или Udio. Она не создаёт музыку с нуля — она берёт существующее исполнение и аккуратно подменяет в нём тембр, сохраняя всё остальное: интонации, эмоциональную окраску, микродинамику, дыхание. По сути, это очень точная пересадка голоса. Если у вас есть аудиозапись человека, поющего с грустью, RVC может перенести этот тембр на другой трек — и грусть останется грустью, только голос будет другим. Именно поэтому RVC-каверы звучат так убедительно: они опираются не на статистическую имитацию, а на живое исполнение другого артиста, аккуратно "переодетое" в нужный тембр. Технология позволяет менять голос как в реальном времени, так и при постобработке — и сохраняет эмоциональную окраску оригинала.

Мне кажется, этот феномен говорит о чём-то важном про нас самих. Нам интересно не просто услышать знакомую песню — нам хочется представить, как она звучала бы в другом голосе, в другой эпохе, в другой культуре. Мы устраиваем голосам встречи, которые в реальной жизни никогда бы не состоялись. И в этом есть что-то от ритуала — того самого проживания, к которому нас так влечёт, даже если мы не отдаём себе в этом отчёт. Мы не обманываемся: мы играем.

Качество 44.1 кГц: технический скачок моделей Suno и Udio

Когда в середине 2024-го Suno выпустила версию v3, а затем v3.5, а параллельно с ней набрал популярность Udio, стало окончательно ясно: генерация песен нейросетью вышла на качественно новый уровень. Частота дискретизации аудио в этих моделях достигла 44.1 кГц — это тот самый стандарт, в котором записаны CD-диски и профессиональные студийные релизы. Для человеческого уха это верхний порог слышимого диапазона: выше этих цифр мы просто не различаем звук.

Но дело не только в цифрах. Suno и Udio научились работать с контекстом — они удерживают в "памяти" единого прохода несколько минут композиции, не теряя связности. Раньше нейросети генерировали короткие фрагменты, которые звучали обрывочно: мелодия могла начаться в одном стиле, а через минуту перейти в другой, тембр вокала менялся без предупреждения, настроение плавало. Теперь модели удерживают заданный жанр, тембр, эмоциональный вектор на протяжении всей композиции. Это уже не набор склеек — это цельная песня с началом, развитием и кульминацией, которую не стыдно поставить в плейлист рядом с живыми исполнителями.

Границы имитации: почему математическая оптимизация — это не творчество

И всё-таки за всем этим техническим великолепием стоит вопрос, который мне не даёт покоя — и я подозреваю, что не только мне. Если нейросеть статистически предсказывает, какой звуковой паттерн с наибольшей вероятностью ассоциируется у слушателя с грустью или радостью, можно ли назвать это грустью самой машины? Можно ли сказать, что она понимает то, что поёт?

Мы слушаем музыку, написанную ИИ, и узнаём в ней себя — но это наше узнавание, а не её переживание.

Мне кажется важным удерживать эту дистанцию, не скатываясь при этом в обесценивание. Нейросеть не знает, что такое одиночество, — она знает, как звучит музыка, написанная людьми, которые его переживали. Это не мелочь и не игра словами: между переживанием и моделированием переживания — целая пропасть. И в этой пропасти живёт то, что мы называем авторством, интонацией как нравственным выбором, голосом как продолжением личности. Когда Олег Анофриев поёт "Бесаме мучо" своим голосом, в каждом звуке — его биография, его сегодняшнее отношение к этой мелодии, его настроение в момент записи. Когда RVC накладывает его тембр на чужую вокальную партию, биографии там нет — есть только тембр. И это разные вещи, даже если на слух их сложно разделить.

Есть и другая грань, о которой стоит проговорить вслух. Состав обучающих выборок коммерческих сервисов остаётся закрытой информацией — мы не знаем точно, на каких именно записях учились Suno или Udio, чьи голоса и чьи песни легли в основу их статистических моделей. Юридический статус такой музыки во многих странах до сих пор предмет судебных споров. Это не повод отказываться от технологии, но повод относиться к ней с той деликатностью, которой она заслуживает.

Что всё это значит для нас

Мне кажется, мы находимся в той точке, где техника уже не удивляет — и именно поэтому становится интересно смотреть глубже. Песни, написанные ИИ, больше не кажутся фокусом и трюком. Они вошли в нашу повседневность тихо, почти как новый жанр — и мы пользуемся ими, не всегда задумываясь, кто там на самом деле поёт и откуда у машины этот голос.

Но в этом тихом входе есть и уязвимость, и подарок. Уязвимость — потому что мы рискуем перепутать статистически точное воспроизведение человеческой интонации с самой интонацией, с живым присутствием другого. А подарок — потому что эти технологии возвращают нам внимание к тому, что мы всегда ценили в музыке, но часто забывали проговаривать вслух: ко вздоху, к паузе, к несовершенству, к тому самому моменту, когда певец забывает слова и всё равно продолжает петь.

Я не знаю, как будут развиваться Suno, Udio и их последователи через пять лет — и, честно говоря, никто не знает. Но я точно вижу, что мы уже изменились. Мы стали внимательнее к тому, что именно делает звук живым. И, может быть, в этом и есть главный урок, который машины преподали нам в этом году: ценить голос — не как набор частот в спектрограмме, а как чьё-то присутствие, пусть даже на расстоянии, пусть даже в наушниках, в поздний час, в чужом городе.