Software „TransProse“ dokáže z kníh vytvárať hudobné soundtracky
Knižné romance sú síce určené na čítanie, no vedci vyvinuli úplne novú umeleckú formu. Prišli totiž so softwarom, ktorý prekladá pocity z diela do hudby. „Tento objav by mohol zmeniť spôsob, akým ľudia vnímajú rôzne literárne diela. Mohlo by to do celej záležitosti vniesť novú iskru a knihy by sa tak stali audiovizuálnym zážitkom. Systém by vedel priamo ovplyvniť emócie pomocou hudby, ktorú vytvorí na základe emocionálne zafarbených slov v diele,“ uvádzajú vedci.
„Ak by bol román v elektronicky čitateľnej forme, náš software „TransProse“ by podľa emočného obsahu slov vytváral krátke klavírne sekcie a spájal by ich dohromady. Tak by z diela vznikol úplne nový pocit a literatúra by sa posunula na úplne novú úroveň,“ povedal Saif Mohammad z Národnej rady pre výskum v Kanade.
Hannah Davis vytvorila program „TransProse“ ako diplomovú prácu na newyorskej univerzite a Saif Mohammad pridal do softvéru počítadlo hustoty slov, ktoré je spojené s ôsmimi základnými emóciami – predvídavosť, radosť, hnev, znechutenie, strach, smútok, prekvapenie a dôvera.
Aj keď sa už niektoré predchádzajúce štúdie zaoberali analýzou pocitov a vytváraním hudby, program „TransProse“ je prvým, ktorý spája oba tieto výskumy dokopy. „Je to prvý systém, ktorý vytvára hudobné sekvencie na základe analýzy emócií v texte a používa nový mechanizmus, aby tieto sekvencie spojil do jedného emočného zážitku.“ hovorí Saif Mohammad.
„Algoritmus využíva databázu slov, ktorá má pridelenú istú emocionálnu hodnotu a podľa toho vytvára hudobné sekvencie s určitým obsahom emócií. Napríklad, ak je v texte viac slov s pozitívnou hodnotou, no obsahuje aj pár slov s negatívnou, je celá hudobná sekvencia založená na tom, aby ukázala rozdiel medzi radosťou a smútkom,“ uvádza Hannah Davis.
Vyjadrovanie nálad
Vedci použili „TransProse“ na to, aby merali náladu v celom texte knihy. Program automaticky vytvára hudbu, ktorá odráža špecifickú náladu v určitej časti knihy. Vedci zatiaľ vytvorili pár hudobných záznamov z najslávnejších diel. Na oficiálnych web stránkach softwaru „TransProse“ sú k dispozícií diela ako Peter Pan alebo Cesta.
Program pracuje tak, že knihu rozdelí na štyri časti. Potom analyzuje každú z nich a ku každej priradí určitú emóciu. Potom vygeneruje spojenie týchto emócií a vytvorí hudobný záznam diela. Lenže generovanie hudby je veľmi náročný proces, pretože je tu nekonečné množstvo možností, akými by sa dali poskladať jednotlivé tóny.
V snahe automatizovať tento proces prišli vedci so súborom pravidiel pre určité typy slov a emócií, ktoré stanovujú obsah hudobného diela. Sú to napríklad tempo, rozsah, oktáva či druh tóniny a sled tónov v rôznych melódiách. Tieto pravidlá sú v podstate pokyny pre program, aby vytváral zvukový záznam, ktorý bude znieť ako hudba a nie ako náhodná kakofónia rôznych zvukov.
Vedci tiež zistili, ako určiť správne poradie tónov. Program teraz využíva hustotu slov na to, aby správne zaradil tóny.
Výsledná kompozícia sa teda skladá z hlavnej melódie, ktorú určujú dominantné emócie. Hlavnú melódiu sprevádzajú vedľajšie, ktoré sú ovplyvnené náladou v určitej časti textu. Okrem hlavnej melódie sú tu ešte dve, založené na dvoch najviac používaných emóciách.
Nakoniec sa vedcom podarilo pomocou štandardného open-source programu JFugue zoradiť tóny do dobre znejúceho klavírneho hudobného záznamu.
Hudobné tweety
Výskum môže ľuďom zjednodušiť chápanie hudobných prvkov s obsahom emócií. Hudba a literatúra majú totiž veľmi podobnú minulosť. Vedci si myslia, že dokonca vznikli súčasne ako jeden umelecký smer a až časom sa vyvinuli v dva odlišné, no stále sa navzájom ovplyvňujúce, odvetvia.
„Táto vedecká práca dokazuje, že hudba a literatúra sú navzájom veľmi úzko prepojené. Dúfame, že toto zistenie povedie k ďalšiemu výskumu a k ešte viac sofistikovanejším metódam, ktoré budú automaticky generovať krásne a emocionálne hudobné sekvencie literárnych diel.“
Okrem toho vedci pracujú aj na aplikácií, ktorá bude z diel vytvárať vizuálnu sekvenciu.
„Tento typ softwaru by mohol pomôcť napríklad filmárom pri vytváraní hudobného podkladu vo filmoch, alebo by mohol byť použitý na prenos emócií pomocou sociálnych médií. Predstavte si nejaký odkaz, ktorý so sebou nesie nielen slová, ale aj emócie zaznamenané pomocou hudby. Vytvorí to úplne nový druh pocitu. Program by tiež mohol zbierať odkazy na sociálnych sieťach z určitej časti sveta a vytvoriť z nich jednu hudobnú nahrávku nesúcu emóciu, ktorá v tej časti sveta prevláda,” povedal Mohammad.
Táto štúdia je podrobne popísaná na stránkach Arxiv.
Zdroj: livescience.com
Foto: livescience.com, carp.ca, layoutsparks.com
