Анотація як інструмент мультимодального аналізу: від тексту до смислу
Анотація
Стаття присвячена дослідженню ролі анотації як ефективного інструменту смислотворення в мультимодальних текстах. Актуальність застосування анотацій зумовлена їхньою здатністю фіксувати всі аспекти семіотичної взаємодії, інтегрувати семіотичні ресурси, які виходять за межі мовних елементів, а також виявляти узагальнені патерни комунікації. Метою статті є виявлення особливостей анотування екологічних відеороликів організації Грінпіс задля визначення змістових аспектів мультимодального конструювання кліматичних змін. Методи дослідження базуються на підходах обґрунтованої теорії (Grounded Theory) з акцентом на кодуванні та категоризації даних, що допомагає виявити ключові теми та закономірності в процесі смислотворення. Методика анотування ґрунтується на принципах селективності, секвентивності, сегментованості та системності і складається з кількох етапів: збору, транскрибування, кодування та інтерпретації даних. У результаті початкового кодування були виявлені різноманітні коди, які в подальшому склали три ключові категорії. Перша категорія, ЕМОЦІЙНИЙ І СЕНСОРНИЙ ВПЛИВ, охоплює коди, що стимулюють емоційний відгук та сенсорне залучення аудиторії. Друга категорія, ЕКОЛОГІЧНА ЗАГРОЗА, поєднує коди, які ілюструють різні аспекти екологічних загроз, від їх причин і наслідків для довкілля до потенційних жертв. Третя категорія, ЕКОЛОГІЧНІ ДІЇ ТА РЕАКЦІЇ, уключає коди, котрі представляють можливі шляхи протидії кліматичним змінам. З інтеграції цих категорій виникає центральна категорія – ЕКОЛОГІЧНА СВІДОМІСТЬ ЧЕРЕЗ ЕМОЦІЙНИЙ І СЕНСОРНИЙ ДОСВІД, яка реалізує концепцію комплексного екологічного впливу. Це свідчить про те, що взаємодія емоцій, загроз і дій лежить в основі смислотворення у відеороликах, створених організацією Грінпіс.
Завантаження
Посилання
Baldry, A., & Thibault, J. (2006). Multimodal Transcription and Text Analysis: A Multimedia Toolkit and Coursebook. London/Oakville: Equinox.
Bateman, J. A. (2008). Multimodality and Genre: A Foundation for the Study of Multimodal Discourse. London: Palgrave Macmillan.
Bohle, U. (2013). Approaching notation, coding, and analysis from a conversational analysis point of view. In C. Müller, A. Cienki, E. Fricke, S. H. Ladewig, D. McNeill, & S. Teßendorf (Eds.), Body – Language – Communication. An International Handbook on Multimodality in Human Interaction (pp. 992-1007). Volume 1. Berlin: De Gruyter Mouton.
Cardoso, B. & Cohn, N. (2022). The Multimodal Annotation Software Tool (MAST). Proceedings of the 13th Conference on Language Resources and Evaluation (LREC 2022), Marseille, 20-25 June (pp. 6822–6828). European Language Resources Association (ELRA). https://doi.org/10.31219/osf.io/3vpce
Charmaz, K. (2014). Constructing Grounded Theory. London: Sage Publications.
Doyle, Julie. (2007). Picturing the Clima(c)tic: Greenpeace and the Representational Politics of Climate Change Communication. Science as Culture, 16(2), 129–150. https://doi.org/10.1080/09505430701368938
Edward, J. (2001). The Transcription of Discourse. In D. Schiffrin, D. Tannen & H. E. Hamilton (Eds.), The Handbook of Discourse Analysis (pp. 321–348). Oxford: Blackwell.
Greenpeace. (n.d.). Retrieved from:https://www.greenpeace.org/international/about/
Halliday, M. A. K. (1978). Language as social semiotic: The social interpretation of language and meaning. London: Edward Arnold.
Halliday, M. A. K., & Matthiessen, C. (2014). Halliday’s Introduction to Functional Grammar. Oxon: Routledge.
Husserl, E. (2012). Ideas. General introduction to Pure Phenomenology. London and New York: Routledge.
Konderak, P. (2021). Towards an integration of two aspects of semiosis – A cognitive semiotic perspective. Sign Systems Studies, 49(1/2), 132-165. https://doi.org/10.12697/SSS.2021.49.1-2.06
Kress, G., & Van Leeuwen, T. (2001). Multimodal discourse The modes and media of contemporary communication. London: Arnold Publishers.
Krysanova, T. (2022). Emergent meaning-making in multimodal discourse: A case for sadness in The Horse Whisperer. Cognition, Communication, Discourse, 24, 37-52. https://doi.org/10.26565/2218-2926-2022-24-03
Norris, S. (2004). An Introduction to Multimodal Analysis. London: Routledge.
Saldana, J. (2014). The Coding Manual for Qualitative Researchers. London: Sage Publications.
Shevchenko, I. S. (2023). Stsenarii smyslotvorennia v mediadyskursi: kohnityvnyj i mul’tymodal’nyj analiz [Scenarios of meaning-making in media discourse: cognitive and multimodal analysis]. Naukovyj visnyk Khersons’koho derzhavnoho universytetu. Seriia «Hermanistyka ta mizhkul’turna komunikatsiia», 1, 99-106. https://doi.org/10.32999/ksu2663-3426/2023-1-14 (in Ukrainian)
Smith, B. A., Tan, S., Podlasov, A., & O’Halloran, K. L. (2011). Analysing multimodality in an interactive digital environment: software as a meta-semiotic tool. Social Semiotics, 21(3), 359–380. https://doi.org/10.1080/10350330.2011.564386
Strauss, A., & Corbin, J. (1998). Basics of Qualitative Research: Techniques and Procedures for Developing Grounded Theory. London: Sage Publications.
ILLUSTRATIVE MATERIAL
BREAKING: Shell’s Arctic oil rig in sight (2013). https://www.youtube.com/watch?v=TGic2E8evhY
The air I breathe. (2020). https://www.youtube.com/watch?v=c_p-DpkOwno&ab_channel=GreenpeaceInternational
Wasteminster: A Downing Street Disaster. (2021). https://www.youtube.com/watch?v=Hr6RqGg6ExE&ab_
channel=GreenpeaceUK
Why Arctic sea ice melting matters. (2012). https://www.youtube.com/watch?v=hUZJYEM0ixc