Мультимодальна синергія тексту та зображення у репрезентації інтерперсональних відносин в ілюстрованих книжках
Анотація
Ілюстровані дитячі книжки як мультимодальні наративи містять багатий матеріал для аналізу способів мультимодального смислотворення. Вербальний і візуальний модуси пропонують власні засоби для репрезентації різних видів інтерперсональних відносин. Ця стаття вирішує таке дослідницьке питання: як візуальні та вербальні ресурси використовуються для побудови інтерактивної взаємодії між читачем і героями творів, а також між самими персонажами ілюстрованих книжок.
У цьому аналізі використано соціосеміотичний підхід Хеллідея до мови в рамках системно-функціональної лінгвістики, відповідно до якого кожна семіотична система функціонує на трьох рівнях, що відповідають ідеаційній, інтерперсональній і текстовій метафункціям. Стаття зосереджена на інтерперсональному рівні, використовуючи методологію та класифікації візуальної граматики Кресса та ван Левена (2006), яку Пейнтер, Мартін та Ансворт (2012) адаптували для аналізу ілюстрованих дитячих книжок. Візуальні ресурси, що використовуються для репрезентації інтерперсональних відносин, пов'язані з такими категоріями, як контакт, соціальна дистанція, ставлення, пафос, афект, атмосфера й градація. Вербальні засоби реалізації інтерперсональних відносин включають, серед іншого, засоби вираження модальності та ставлення. У зв’язку з цим застосовано теорію оцінки Мартіна та Уайта (2005) для класифікації оцінювальної лексики відповідно до трьох систем: ставлення, залученість і градація.
У роботі проаналізовано інтерперсональні взаємовідношення між текстом і зображенням у двох дитячих ілюстрованих книжках: «Принцеса в паперовому пакеті» Мунша (2005) і «Білосніжка в Нью-Йорку» Френч (1989). Аналіз візуальних ресурсів на інтерперсональному рівні продемонстрував переважання зображень із загальним планом, прямий зоровий контакт із читачем зустрічається рідко, за винятком кількох крупних планів. Зображення в анфас створюють ефект рівності персонажів з читачами та відчуття причетності. У цілому, взаємодія між візуальними та вербальними компонентами створює синергетичний ефект у побудові інтерперсональних відношень в ілюстрованих дитячих книжках.
Завантаження
Посилання
Halliday, M.A.K. (1985). An introduction to functional grammar. London: Edward Arnold.
Halliday, M.A.K. (1978). Language as social semiotic. London: Edward Arnold.
Joosen, V. (2011). Critical and creative perspectives on fairy tales: An intertextual dialogue between fairy-tale scholarship and postmodern retellings. Detroit, MI: Wayne State University Press.
Kress, G., & van Leeuwen, T. (2006). Reading images: The grammar of visual design. London: Routledge.
Kress, G., & van Leeuwen, T. (2002). Colour as a semiotic mode: Notes for a grammar of colour. Visual communication, 1(3), 343–369.
Ledin, P., & Machin, D. (2020). Introduction to multimodal analysis. London: Bloomsbury.
Lewis, D. (2001). Reading contemporary picture books: Picturing text. London: Routledge.
Martin, J.R., & White, P.R.R. (2005). The language of evaluation: Appraisal in English. Basingstoke & New York, NY: Palgrave MacMillan.
Martinec, R., & Salway, A. (2005). A system for image-text relations in new (and old) media. Visual communication, 4(3), 337–371.
Nikolajeva, M., & Scott, C. (2001). How picture books work. New York & London: Garland Publishing.
O’Halloran, K.L., & Lim, F.V. (2014). Systemic functional multimodal discourse analysis. In S.Norris & C.D.Maier (Eds.), Interactions, images and texts: A reader in multimodality (pp. 137–154). Berlin: Mouton de Gruyter. https://doi.org/10.1515/9781614511175.137
Otto, C., Springstein, M., Anand, A., & Ewerth, R. (2020). Characterization and classification of semantic image-text relations. International Journal of Multimedia Information Retrieval, 9, 31–45. https://doi.org/10.1007/s13735-019-00187-6
Painter, C. (2017). Multimodal analysis of picture books. In B. Kümmerling-Meibauer (Ed.), The Routledge companion to picture books (pp. 420–428). London: Routledge. https://doi.org/10.4324/9781315722986
Painter, C., Martin, J.R., & Unsworth, L. (2012). Reading visual narratives: Image analysis in children’s picture books. Sheffield: Equinox.
Santamaría-García, C. (2022). A semiotic and multimodal analysis of interactive relations in picture books that challenge female gender stereotypes. In A. J. Moya-Guijarro & E. Ventola (Eds.), A multimodal approach to challenging gender stereotypes in children’s picture books (pp. 144–163). New York & London: Routledge. https://doi.org/10.4324/9781003145875
Tseng, C. (2013). Cohesion in film: tracking film elements. Basingstoke: Palgrave Macmillan.
Van Leeuwen, T. (2020). Multimodality and multimodal research. In L. Pauwels & D.Mannay (Eds.), The SAGE handbook of visual research methods (pp. 465–508). Thousand Oaks, CA: SAGE publications, Inc. https://doi.org/10.4135/9781526417015
White, P.R.R. (2015). Appraisal theory. In K. Tracy, C. Ilie, & T. Sandel (Eds), The international encyclopedia of language and social interaction. Hoboken, NJ: John Wiley & Sons. https://doi.org/10.1002/9781118611463.wbielsi041
Yefymenko, V. (2022). Multimodality and cross-modal cohesion in manga.
Cognition, communication, discourse, 24, 103–114. https://doi.org/10.26565/2218-2926-2022-24-08
Авторське право (c) 2024 Вікторія Єфименко
Цю роботу ліцензовано за Міжнародня ліцензія Creative Commons Attribution-NonCommercial-NoDerivatives 4.0.
Автори, які публікуються у цьому журналі, погоджуються з наступними умовами:
Автори залишають за собою право на авторство своєї роботи та передають журналу право першої публікації цієї роботи на умовах ліцензії Creative Commons Attribution Non-Commercial Non-Derivs License (CC BY-NC-ND), яка дозволяє іншим особам вільно розповсюджувати опубліковану роботу з обов'язковим посиланням на авторів оригінальної роботи та першу публікацію роботи у цьому журналі.
Автори мають право укладати самостійні додаткові угоди щодо неексклюзивного розповсюдження роботи у тому вигляді, в якому вона була опублікована цим журналом (наприклад, розміщувати роботу в електронному сховищі установи або публікувати у складі монографії), за умови збереження посилання на першу публікацію роботи у цьому журналі.
Політика журналу дозволяє і заохочує розміщення авторами в мережі Інтернет (наприклад, у сховищах установ або на особистих веб-сайтах) рукопису роботи, як до подання цього рукопису до редакції, так і під час його редакційного опрацювання, оскільки це сприяє виникненню продуктивної наукової дискусії та позитивно позначається на оперативності та динаміці цитування опублікованої роботи (див. The Effect of Open Access).
