Алгоритм генерации мелодии из звукового фрагмента работает на основе нейросетей, которые обучаются на большом количестве примеров и генерируют что-то похожее. 12

Есть два способа генерации музыкальных композиций: 1

1. Создание нот. 1 Нейросеть строит музыку из нот, как текст — из звуков. 1 В результате можно получить партитуру (запись мелодии нотами), чтобы сыграть её, например, на гитаре или пианино. 1 Или экспортировать в формат MIDI — это API для музыкальных инструментов и библиотек звуков. 1
2. Создание аудиосигналов. 1 Искусственный интеллект может прямо создать мелодию, а также человеческий голос — получится песня, опера, симфония и что угодно. 1

В основе алгоритмов для написания музыки, как правило, лежат автокодировщики и генеративно-состязательные нейросети (GAN): 1

• Нейросеть-автокодировщик представляет данные в упрощённом виде, то есть сжимает первоначальные данные, отбрасывая несущественную для восприятия информацию. 1 А потом на основе сжатой информации генерирует новые композиции. 1
• Генеративно-состязательные нейросети создают музыкальную композицию на примере загруженных в базу треков и затем пытаются отличить оригинал от сгенерированного экземпляра. 1 Здесь задействованы две модели — генератор и дискриминатор. 1 Первый создаёт музыку, а второй пытается определить, где сгенерированное произведение, а где оригинал. 1 Так они соревнуются друг с другом, чтобы генеративная модель могла создавать максимально правдоподобные композиции. 1