• 맑음동두천 10.3℃
  • 맑음강릉 14.3℃
  • 맑음서울 10.6℃
  • 맑음대전 10.4℃
  • 맑음대구 14.4℃
  • 맑음울산 11.5℃
  • 맑음광주 10.5℃
  • 맑음부산 12.1℃
  • 맑음고창 7.2℃
  • 맑음제주 11.8℃
  • 맑음강화 5.4℃
  • 맑음보은 12.0℃
  • 맑음금산 10.0℃
  • 맑음강진군 10.8℃
  • 맑음경주시 10.7℃
  • 맑음거제 11.0℃
기상청 제공

소리의 본질을 탐구하기 위해 시작된 소리의 시각화

과학적인 방법과 예술적인 상상력이 결합한 창의적인 예술작업

‘소리의 시각화(sound visualization)’나 ‘이미지의 청각화(image sonification)’는 서로 다른 종류의 정보를 취급하는 두 기관인 ‘눈’과 ‘귀’에 관계되며, 이들 기관과 관계된 시각과 청각은 인간의 오감 중에서 가장 압도적인 비중을 차지하는 두 감각이라는 점에서 매우 흥미롭다. 이들 영역과 관계된 많은 의미 있는 주제들이 있을 것이나, 본 학술기획 편에서는 예술작품에 나타난 ‘소리의 시각화’와 관련된 내용을 중심으로 다루고자 한다.

그동안 소리와 관계된 음악의 영역은, 예술의 다른 영역과 달리 작품의 재료가 되는 사운드의 실체를 눈으로 보거나 직접 만져볼 수 없다는 측면에서 차별화된 영역으로 간주되어 왔다. 소리를 고정된 미디어에 담을 수 있는 녹음의 개념이 생기기까지, 음악은 그림이나 조각 작품과 같이 소유할 수도 없는 것이었으며, 음악연주를 위한 정보를 시각화한 악보만이 유일한 작품의 실체가 되어왔다. 이후 청각 기반 정보의 시각화는, 소리의 본질을 탐구하기 위하여 음향을 측정하고 과학적으로 분석하고 그 결과를 설명하고 이해하기 위한 과정에서 매우 유용하였기에, 시간과 주파수를 각각 특정 축에 대응시키는 스펙트로그램(spectrogram) 등의 형태로 활용되어왔으며, 사운드 및 음악 제작을 위한 소프트웨어의 GUI(graphic user interface) 등 소리와 관계된 다양한 파생영역에서의 높은 활용가치로 인해 꾸준히 발전하여 왔다.

예술적인 목적을 가진 소리 시각화의 경우, 음악의 내용(오르간의 건반, 즉 음정)을 빛의 색상에 대입하여 표현하려고 했던 1700년대 카스텔(Louis-Bertrand Castel)이 제안한 컬러 오르간(Ocular Harpsichord)의 선구적인 예와, 20세기 초반 전기공학의 발전에 기반 한 추상영화(abstract film)에서 중요한 예를 찾아볼 수 있다. 인간의 감성을 다루는 예술 영역으로의 응용은 ‘소리가 포함하고 있는 정보를 얼마나 명확하고 이해하기 쉽게 시각적으로 보여줄 수 있는가’라는 차원을 넘어서, ‘음악이 가진 감성을 시・청각의 예술적인 교감을 통하여 어떻게 극대화 할 것인가’라고 하는, 인간의 인지영역과 관계되는 또 다른 예술적인 측면의 연구를 촉발시켰다.

공감각(synesthesia)이란, 하나의 감각에 대응되는 자극이 주어졌을 때 무의식적으로 또 다른 영역의 감각을 자극받는 감각 간의 전이와 관계된 신경학적인 현상의 하나로, 소리를 들으면서 특정 색상을 감지하거나, 소리를 들으면서 맛을 느끼는 등의 예를 들어 설명할 수 있다. 처음에는 돌연변이의 미분화된 감각기관에서 발생하는 현상으로서 연구되었으나, 언어영역에서 다양한 형용사에 나타나고 있는 예와 문학영역에서 시에 사용된 은유 등으로 광의의 공감각에 대하여 생각할 수 있으며, 예술영역에서의 소리 시각화는 바로 청각과 시각의 감각전이로서 공감각과 관계된 연구를 기반으로 하는 창의적인 작업으로, 시각적인 음악(visual music)의 영역이라 할 수 있다.

멀티미디어 음악은 시간의 예술인 음악 안에 공간의 개념을 형성시켰으며, 디지털의 시대는 청각예술과 시각예술의 영역을 공통의 언어로 소통하게 하였고, 사운드와 음악을 구성하는 보다 많은 요소들을 시각 이미지의 구성요소와 연동하여 제어할 수 있도록 그 가능성을 열어주었다. 미디어아트를 중심으로 하는 현대 예술의 분야에 나타나고 있는 소리 시각화는 뮤직비디오(music video)의 영역과는 구별되며, 소리(음악)와 시각 이미지의 본질 및 양자 상관관계에 대한 예술적인 탐구에 집중하는 시각적으로 표현된 음악에 가까운 특징을 보이고 있다. 비디오아트의 대가로 알려진 백남준은 시각예술작품의 전시가 주류를 이루는 갤러리에 일찍이 ‘음악의 전시’라고 하는 개념을 도입시켰으며, 그의 음악적 형상화 작업은 실로 ‘소리 없는 음악’의 개념까지도 가능케 하였다.

미디어 본질에 대한 이해를 바탕으로, 과학적인 방법과 예술적인 상상력을 결합한 창의적인 예술작업이라 할 수 있는 소리의 예술적인 시각화 작업은, 방법적으로는 ‘소리를 구성하는 어떠한 요소와 시각 이미지를 구성하는 어떠한 요소를 택하여 어떠한 방식으로 대응시킬 것인가’라고 하는 고민으로부터 시작된다. 음고, 음량, 음색 등의 수많은 청각 관련 정보 중 어떠한 요소를 선택하여 형태, 크기, 위치, 색상 등의 시각 관련 정보에 대응시킬 것인가에 대한 규칙이 결정되면, 시간에 따라 진행하는 음악의 구간을 설정된 단위 기준으로 지속적으로 분석하고 그 분석 결과를 실시간으로 규칙에 따라 시각화하게 되는데, 이처럼 연속된 이미지의 동영상으로서 추출된 작품은, 음악과 함께 시각적인 음악을 동시에 감상할 수 있는 환경을 제공한다. 이러한 작품은 고정된 러닝타임을 갖는 비디오 파일의 형태로 구현될 수도 있고, 마이킹을 통하여 현장에서 관객이 제공하는 소리나 음악을 입력받아 실시간으로 분석하여 반응할 수 있도록 고안될 수도 있다. 예술적으로는 ① 작품이 포함하고 있는 음악구성의 특징적인 내용이나 음색의 질감 등을 시각 이미지를 통하여 직관적으로 표현하는 작업으로부터 ② 소리와 시각 정보의 상호작용을 활용한 추상적인 예술적 상징화 작업에 이르기까지 작가의 의도에 따라 다양하게 표현될 수 있다.

인간의 소리 인지 특성에 대한 연구가 이루어지는 심리음향학(psychoacoustics) 분야의 연구에 의하면, 하나의 음악을 구성하고 이를 분석하거나 이해하는데 사용되는 음악의 요소는 매우 다양하며, 현대인들은 음악을 감상할 때 이러한 요소들을 빠르게 분석하고 이해하며 그 변화 양상을 즐기는 것으로 나타났다. 이에 한 발짝 더 나아가, 멀티미디어의 시대에서는 동시에 복수 감각의 자극을 받아들이는 것 또한 매우 자연스러운 것이 되었다.

이러한 현재의 예술계는 장르의 경계가 없고, 과학자와 예술가의 경계, 창작자와 실연자, 테크니션의 경계가 없으며, 관객이 직접 작품에 개입하는 다양한 예술의 경향으로 새로운 국면을 맞이하고 있다. 최근에는 다원예술 및 융복합의 경향에 힘입은, ‘보는 소리, 듣는 영상(seeing sound, listening image)’과 같은 멀티미디어음악 시리즈공연이나 ‘lux et sonitus-continuus(빛과 소리)’展과 같은 오디오비주얼 아트(audiovisual art) 연작 기획전시 등을 통하여 우리 주변에서 ‘시각과 청각의 예술적인 교감’을 주제로 하는 다양한 소리 시각화 작품들을 만나볼 수 있다.

관련기사