Undervisningsmateriale

Hvad betyder multimodalitet?

Eksempel på en mulitimodalitet: En Snapchat kan både indeholde billede, tekst og ikoner.

Ordet “modalitet” kommer fra det latinske “modalis”, som betyder “med hensyn til måden”. Eksempler på modaliteter kan være skrift, video, lyd, kropssprog, infobokse, ikoner osv. Når en tekst udtrykker sig på mere end én måde kalder vi den for en multimodal tekst.

Når man arbejder med multimodale tekster skal man altså forholde sig til, hvilke forskellige modaliteter (måder) den multimodale tekst udtrykker sig med og på og hvad de enkelte modaliteter betyder for den multimodale teksts helhed.

Den multimodale tekstanalyse adskiller sig dermed ved både at forholde sig til både måderne teksten udtrykker sig, og hvordan disse forskellige modaliteter (måder) spiller sammen på.

Eksempel


En “snap” med tekst og ikoner (emojies) er et eksempel på en multimodal tekst, fordi der bliver brugt flere forskellige udtryksformer til at overlevere et budskab. Så hvis I f.eks. tager et billede på Snapchat af jeres skrivebord, tilføjer nogle ikoner og skriver “læser til eksamen”, så har I lavet en multimodal tekst. Teksten er multimodal, fordi I både bruger bogstaver, ikoner og billede for at afsende teksten. Sætningen
“læser til eksamen” alene er altså ikke den multimodale tekst, og det er billedet eller ikonerne heller ikke.

Den multimodale tekst skal forstås som jeres budskab, mens billedet, skriften og ikonerne er de modaliteter, I bruger til at afsende budskabet. Alle udtryksformer kan være en måde at afsende et budskab på, og derfor kan alle udtryksformer være en modalitet.

Hvor og hvordan bruges multimodaliteter?

Et billede, der illusterer en tekst, er en modalitet.

Multimodalitet bruges i meget mere og andet end Snapchats. Multimodale tekster er nemlig ikke forbeholdt nogen genre eller platform, selvom de er mere almindelige i nogle sammenhænge som f.eks. i børnebøger, tegneserier, reklamer eller på hjemmesider.

Især de digitale medier gør det meget let at blande forskellige modaliteter, på den samme hjemmeside kan man f.eks. sagtens finde både skrift, videoer, billeder, ikoner, lyd, tabeller osv. Men fysikbøger med grafer, H.C. Andersens eventyr med illustrationer og avisartikler med billeder er også multimodale tekster.

Diagrammet viser, hvor mange forskellige modaliteter, teksten består af.

Modaliteternes grupper

Fordi “multimodalitet” er så bredt et begreb, at det i teorien kan rumme alle udtryksformer og alle genrer, må vi starte med at indsnævre det multimodale begreb. Til dette forløb om digitale, skønlitterære, multimodale tekster arbejder vi med en tredelt gruppering af modaliteterne:

Modalitetsgrupper


  • Den skriftlige modalitetsgruppe
  • Den billedlige modalitetsgruppe
  • Den lydlige modalitetsgruppe

Modaliteternes kategorier

Alle modaliteter bidrager til den måde, vi forstår teksten – men på forskellige måder. Derfor kan man undersøge, hvordan de forskellige modaliteter påvirker hinanden. Til dette forløb om digitale, skønlitterære multimodale tekster arbejder vi derfor også med kategorier for modaliteternes funktioner og relationer.

I det første eksemplet, her på siden,  billedet af “eksamens-snappen” er ordene “læser til eksamen” uddybende for billedet af skrivebordet med computeren og notaterne. Ordene uddyber det budskab, som bliver formidlet i billedet – og omvendt. De tre ikoner kunne derimod hentyde til et tidspres, og at det er hårdt(!) at læse til eksamen. Derfor udvider ikonerne budskabet, fordi de siger noget ekstra i supplement til de to andre modaliteter.

Funktioner

  • Uddyber
  • Udvider

Relationer

  • Harmoni
  • Disharmoni

Alle modaliteter – ikoner, ord og billede – fungerer i dette eksempel harmonisk med hensyn til måden, budskabet er overleveret. Hvis én eller flere af modaliteterne var modstridende, ville relationen i stedet være uharmonisk.

Opgaver: I par og på klassen

Opgave 1:
Relationerne og funktionerne imellem modaliteterne spiller sammen og påvirker hinanden i vores læsning af multimodale tekster.
List alle de modaliteter I kan se på disse to snaps og kategoriser dem ift. funktion (udvidende/uddybende) og relation (disharmoni/harmoni). Diskuter på klassen, om der er nogen typisk sammenhæng imellem en modalitets relation til og funktion i teksten. Med hvilket formål bruger f.eks. aviser, fagbøger og kunstinstallationer forskellige modaliteter?

En Snapchat bruger mange forskellige modaliteter.En Snapchat bruger mange forskellige modaliteter.

Opgave 2:
Lav to forskellige multimodale tekster på Snapchat, som er
1. udvidende og harmonisk
2. uddybende og disharmonisk

Analyse af multimodale tekster

Fordi vi hele tiden møder multimodale tekster i vores hverdag, er det også vigtigt, vi forstår at analysere dem. Når man laver en multimodal analyse af f.eks. en nyhedsartikel på en hjemmeside, en tegneserie eller en musikvideo ser man på, hvordan de forskellige modaliteter skaber mening i samspillet med hinanden.

Det er altså ikke kun artiklens skrift, tegneseriens billeder eller musikvideoens lyd, som er genstand for analysen. Alle modaliteter spiller altid en rolle, når vi fortolker vores multimodale hverdag.

Alle modaliteter har altså en mulighed for at bidrage til den måde, vi forstår teksten på. Det er derfor nødvendigt først at se på, hvilken betydning de enkelte modaliteter i teksten har hver for sig. Derefter undersøger en multimodal analyse, både hver enkelt modalitet og hvordan de forskellige modaliteter spiller sammen.

Vælg nu den tekst, i skal arbejde med: