Исследовательская группа Deezer разработала систему AI, которая определяет настроение музыкального произведения

Deezer разработала систему искусственного интеллекта способную ассоциировать некоторые музыкальные произведения с настроением и намерениями.

 

 

Работа описана в новой опубликованной статье расположенной Arxiv.org под названием “определение музыкального настроения основанной на текстах музыкальных произведений при помощи нейронной сети глубокого обучения”.

Для определения настроения музыкального произведения команда считает как аудио сигнал так и музыкальные тексты.

Для того, чтобы начать транслировать аудио сигнал в нейронную сеть наравне с моделями которые реконструируют лингвистический контекст слов.

Для обучения нейронной сети распознавать настроение музыкального произведения используется Million Song Dataset (MSD), являющейся коллекцией метаданных состоящей из одного миллиона музыкальных произведений.

В частности используется набор данных из Last.fm, которая присваивает идентификаторы треков из более чем 500,000 уникальных тегов.

Большинство из тегов связанные с настроением и более 14,000 английских слов из тегов присвоенная шкала рейтинга, которая отображает являются ли слова негативными или позитивными а также спокойное или энергичное слово используется для обучения системы.

База Million Song содержит метаданные музыкальных произведений анне самих композиций.

Таким образом команда разработчиков объединила информацию из каталога Deezer используя идентификаторы такие как название песен, имена исполнителей и названия альбомов.

Примерно 60% результирующих наборов данных (18,644 трека) использовались для обучения системы искусственного интеллекта.

Оставшиеся наборы данных использовались для валидации и дальнейшего тестирования системы.

В конечном итоге исследовательская группа пришла к выводу ,что система искусственного интеллекта лучше определяла жанр музыкальных композиций чем при традиционных методах начиная от спокойных и заканчивая энергичными композициями осуществляя одни и те же операции при определении негативного жанра произведения и позитивного.

По заявлениям исследователей:

производительность является результатом емкости нашей модели для раскрыва и использования средней корреляции меду аудио и музыкальными текстами особенно когда речь идет о предсказаниях валентности.

Согласно документу использование работы синхронизации базы данных музыкальных текстов и музыкальных произведений может стать помощью для движения вперед.

Команда разработчиков считает, что сможет точно определить двусмысленность настроения музыкальных композиций.

В некоторых случаях определение жанра музыкальной композиции сможет внести значительную изменчивость между слушателями.

Исследователи считают, что такая работа рассматривается как способ дальнейшего изучения того, как соотносятся музыка, лирика и настроение а также возможность того, чтобы модели глубокого обучения могли сортировать и находить намеченные данные в большом объеме.

Источник: The Verge

[ratings]

 

 

Смотрите также:

YesOJO Switch представила док-станцию со стереозвуком

Линейка наушников Etymotic ER3 создана как бюджетная альтернатива

OnePlus начал выпуск индивидуальной версии Android Pie

Spotify тестирует персональные музыкальные рекомендации в официальных плейлистах

Теперь можно слушать Audible на Apple Watch

Samsung представил первый смартфон с тремя камерами Galaxy A7