Käänteinen McGurk-efekti?
Kirjoitin aikaisemmin McGurk-efektistä, jossa visuaalinen havainto puhujan huulista voi muuttaa vahvasti kuullun äänteen tulkintaa.
Minua jäi kuitenkin askarruttamaan kysymys selkokielisestä puheesta, sillä vaikka McGurk-efektin perusteella äänteiden (äänien, signaalitason viestien) ja niihin liitetyn liikkeen ero voi olla suurehko, elokuvateattereista saatu arkikokemus kertoo, että pienikin ero selkokielisen puheen (kielen, symbolitason viestien) ja huulien liikkeen välillä pistää helposti silmään/korvaan/molempiin.
Toisaalta dubattujen piirrettyjen kohdalla eri kielillä tapahtuvan puheen ja piirroshahmon suun liikkeen välinen yhteys tuntuu luontevalta. Olen pariin kertaan animaatioelokuvaa katsoessani miettinyt, miksei tämä "virhe" häiritse. Olen päätynyt nopeaan tulokseen, että a) dubbaustiimi on onnistunut tekstin sovittamisessa ja ilmaisun rytmityksessä sekä b) viihdettä katsoessa luomme "sanattoman sopimuksen" siitä, ettemme riko liialla järkeilyllä illuusiota.
Törmäsin kuitenkin tänään Bad Lip Reading -kollektiivin videotuotantoon. Ideana niissä on, että tekijät napsivat eri lähteistä videoita, joissa tunnetut henkilöt puhuvat ja vaihtavat ääniraidan dubbaukseen, jonka teksti perustuu "huulilta lukemiseen", eli siihen mitä videon henkilöt näyttäisivät sanovan.
Lopputulos on hulvaton, eräänlainen käänteinen McGurk-efekti, sillä hyvin rytmitetty puhe saa suun liikkeen näyttämään juuri sopivalta. Puheen ja suunliikkeiden välisen virheen havaitsee tarkkailemalla, mutta se ei häiritse.
Parhaiten efekti toimii jos ei tiedä miltä videolla oleva henkilö kuulostaa, esimerkiksi minulla ei ole käsitystäkään siitä, miltä republikaanien presidenttiehdokkaaksi pyrkivä Herman Cain kuulostaa:
Pienen häiritsevän vihjeen saa siitä, että ääni kuulostaa nuoremmalta kuin Cain näyttää.
Tuttuuden vaikutuksen illuusioon huomaa vahvemmin kun katsoo Obamaa, mutta silti dubbaus tuntuu uskottavalta:
Nyt kun asiaa miettii, niin lienee kokemuspohjaisestikin ihan loogista, että temppu onnistuu, sillä olemme tottuneet siihen, että suu liikkuu samojen sanojen tahtiin hieman eri tavoilla – onhan jokaisen ihmisen kasvojen rakenne hieman erilainen ja käytämme puhuessamme kasvojemme lihaksia eri voimakkuudella.
Summa summarum: Eli hypoteesi olisi, että havaittu huulten liike ohjaa auditiivista tulkintaa nonverbaalisten äänteiden kohdalla, mutta verbaalinen puhe ohjaa visuaalista tulkintaa huulten liikkeiden kohdalla?