Czy sztuczna inteligencja i głębokie sieci neuronowe mogą w przyszłości tworzyć oraz wykonywać muzykę? Czy maszyny będą rozumieć muzykę skomponowaną przez człowieka? Na tego typu pytania szuka się odpowiedzi na Politechnice Warszawskiej.
Pionierskie w skali światowej badania na ten temat prowadzi dr inż. Mateusz Modrzejewski z Wydziału Elektroniki i Technik Informacyjnych PW, który jest także cenionym perkusistą. Naukowiec szuka odpowiedzi na pytania z zakresu wyszukiwania informacji o muzyce (music information retrieval). Zastanawia się m.in. nad tym, czy algorytmy sztucznej inteligencji mogą zastąpić dyrygenta, jaka jest szansa, że instrumenty nauczą się same grać i co różniłoby muzykę pisaną przez automat i przez człowieka.
Dr Modrzejewski mówi, że „w prowadzonych badaniach łączę swoje dwie największe pasje: muzykę oraz zagadnienia związane z głębokimi sieciami neuronowymi, będącymi podstawą uczenia maszynowego i zastosowań sztucznej inteligencji. Jako jazzowy perkusista z bogatym doświadczeniem scenicznym, znam i rozumiem strukturę muzyki, a jako inżynier zapisuję ją nie tylko w postaci nut, ale także przedstawiam w języku komputerowym. A to jest doskonały zbiór danych wejściowych do maszynowego przetwarzania, analizy i komponowania utworów przez algorytmy sztucznej inteligencji”.
Czy głębokie sieci neuronowe są w stanie skomponować piękną muzykę?
Badania naukowca opierają się na wykorzystaniu głębokich modeli neuronowych, w tym sieci rekurencyjnych i generatywnych typu GAN oraz nowoczesnych reprezentacji opartych na podejściu uczenia transferowego (transfer learning). Dr Modrzejewski opracowuje nowe metody z wykorzystaniem dużych zbiorów danych w formacie audio i w formatach symbolicznych, takich jak MIDI (Musical Instruments Digital Interface).
Po przetworzeniu poszczególnych utworów z wykorzystaniem algorytmów sztucznej inteligencji możliwe jest wygenerowanie zupełnie nowej muzyki, która spełnia określone założenia. Wykonuje się też trafną i dokładną klasyfikację istniejącej muzyki według zadanych kryteriów, takich jak identyfikacja wokalisty, nastroju i instrumentów, czy też rozpoznanie gatunku muzycznego. To nie pierwszy raz, gdy poruszamy podobny temat na naszym blogu. Polecamy lekturę naszych tekstów, na przykład „Sztuczna inteligencja może tworzyć wartościową sztukę?”.
Dr Modrzejewski zwraca uwagę, że „muzyka jest bardzo abstrakcyjnym komunikatem, głęboko zakorzenionym w ludzkiej inteligencji i wrażliwości. W przypadku generowania muzyki uwypuklamy aspekt kompozycyjny – kodujemy nuty w postaci ekspresyjnych reprezentacji tekstowych lub w formie graficznej, zwanej „piano roll”. Sztuczna inteligencja staje się tu sprzymierzeńcem ludzkiego kompozytora, dostarcza nowych melodii, struktur i rozwiązań. Wspomagamy ludzką inteligencję i kreatywność za pomocą technik AI”.
Jak głębokie sieci neuronowe analizują istniejącą muzykę?
W przypadku analizowania muzyki działa to trochę inaczej. Naukowiec tłumaczy: „korzystamy tam z technik cyfrowego przetwarzania sygnałów i badamy reprezentacje wyuczone przez głębokie sieci neuronowe. Te reprezentacje w naturalny sposób pozwalają maszynom zrozumieć treść zawartą w muzyce, a więc na przykład również zarekomendować słuchaczowi nową muzykę do posłuchania z uwzględnieniem spersonalizowanych preferencji”.
Na marginesie warto wspomnieć, że – jako perkusista – dr Modrzejewski zagrał ponad 600 koncertów z czołowymi polskimi artystami. Występował na wielu festiwalach i wydarzeniach muzycznych w Polsce, a także w Chinach, Wietnamie, Niemczech, Szkocji, Anglii, Estonii, a także Ukrainie. W 2021 roku był nominowany – jako członek zespołu Majki Jeżowskiej – do nagrody „Fryderyk” za płytę „Live at Pol’and’ rock”.
Na naszym blogu często zajmujemy się tematami algorytmów AI, sieci neuronowych czy głębokiego uczenia. Zastosowanie dla nich można znaleźć w coraz to nowszych dziedzinach. Pisaliśmy o tym wielokrotnie, na przykład w tekście „Sztuczna inteligencja odnajdzie zabytki”.
Źródła: Nauka w Polsce PAP i Politechnika Warszawska