복잡성의 과학 (Science of Complexity)

박 형 규

인하대학교 물리학과

1980년대 중반에 설립된 산타페 연구소에는 다양한 분야의 과학자들이 모여 일반인들에게는 다소 생소하게 들리는 "복잡성의 과학"을 연구하고 있다. 물리학, 수학, 전산학, 생물학, 화학, 경제학, 심리학, 언어학, 사회학, 정치학 등, 다양한 분야의 전문가들이 학제간의 장벽을 뛰어 넘어 공통된 새로운 시각을 찾아내기 위한 노력을 경주하고 있다. 과연 이들이 연구하고 있는 복잡성의 과학이란 어떤 것일까? 자연계와 인간 사회에서 일어나는 다양한 현상들이 도대체 어떤 공통점을 갖고 있길래 하나의 통합된 틀로 이해할 수 있다는 것일까?

복잡성의 과학은 환원주의에 바탕을 둔 현대 과학이 한계점을 드러내는 문제들을 전일주의의 입장에서 이해해 보려는 새로운 시도이다. 뇌, 인간, 사회, 경제, 생태계처럼 수많은 인자들로 복잡하계 얽혀있는 계가 발현하는 성질은 그 구성요소인 각 인자들의 성질들을 단순히 선형적으로 합해 가지고는 결코 이해할 수 없다는 생각이 이 과학의 밑바탕에 흐르고 있다. 생명이란 어떻게 발현되는가? 인식이란 어떻게 얻어지는가? 또 진화의 원동력은 무엇인가? 현대 과학이 진정으로 이해하고 있지 못하는 수많은 문제들이 우리 앞에 널려 있으며, 또한 그러한 문제들은 우리 인간들이 앞으로 해결해야 할 중요한 문제들이다. 복잡성의 과학은 이러한 문제들에 대한 해답을 줄 통일된 대합성 이론을 추구하고 있다.

이러한 문제들을 이해하기 위한 첫 번째 발걸음은 이들의 공통점을 찾아내는 일이다. 첫째, 이러한 계(system)들은 서로 병렬적으로 행동하는 수많은 인자들로 구성된 그물망이다. 이 인자들은 끊임없이 행동하고 서로 서로에게 반응하기 때문에 그물망은 정체되지 않는다. 더욱이 이 그물망 속에는 전체를 통제하는 중앙 사령탑이 없지만 어떤 결맞는(coherent) 행동을 보인다. 예를 들어 뇌를 구성하는 신경세포들은 현대의 컴퓨터와는 달리 중앙 처리세포가 따로 존재하지 않지만 사물을 전체적으로 인식하고 명령을 내린다. 둘째, 이들은 여러 층의 조직 단계를 가지며 각 단계마다 새로운 기초단위들을 형성한다. 마치 생명체나 회사의 계층 구조와 유사하다. 소립자들이 모여 다양한 원자들을 만들어 내고, 이들이 모여 분자를 이루며, 또다시 세포, 세포기관, 기관, 유기체, 생태계를 이룬다. 이들은 환경에 적응해 가면서 자신들의 조직을 개조하고 재배열한다. 진화란 이러한 기초단위들의 교정과 재결합이다. 셋째, 이러한 계들은 미래를 예견하고 외부 환경에 적절히 대응한다. 이들은 환경에 대한 자체 내부 모형을 세우고 이를 바탕으로 환경에 대응한다. 우리가 학습을 통해 뇌 속에 수많은 암시적 예견들을 새기는 것과 같다. 이러한 예견들이 바로 인식의 기초단위들이 되며, 이들은 경험을 쌓아가면서 다듬어지고 재결합하여 보다 높은 인식의 구조를 만들어 낸다. 이를 통해 새롭고 보다 고차원적인 사고행위가 창출된다. 또한 생명체들은 진화를 통해 유전자 속에 내부 모형들을 새겨 놓고 다음 세대에 이를 전달한다. 생명체의 본능이 이러한 유전적 내부모형의 한 예이다. 마지막으로, 이러한 계들은 기초단위들이 택할 수 있는 새로운 지위들을 끊임없이 만들어 낸다. 환경에 보다 낫게 적응하기 위해 이들은 자신들을 변화시키고 발전시킨다. 물론 자신들의 환경에 대한 적합성(fitness)을 극대화하는 것은 마치 모래사장에서 가장 모나지 않은 모래알을 찾는 것처럼 불가능한 일이기 때문에 이들은 끊임없는 시행착오를 통해 가능성의 공간을 탐험해 나간다. 따라서 복잡한 적응계(complex adaptive systems)들은 정체되어 있을 수 없으며 무한한 가능성의 공간 속에서 개발(exploitation)과 탐구(exploration)를 영원히 해나간다.

이들이 다가가려 하는 곳은 어떤 곳인가? 또한 그 곳으로 향하게 하는 추진력은 어디에서 나오는가? 이 두가지 질문이 복잡성의 과학이 대답하려고 하는 핵심이다. 복잡한 적응계는 눈송이와 같이 단순히 복잡한 정적인 대상들과는 거리가 멀다. 이들은 매우 역동적이고 자발적이며 또 무질서해 보인다. 하지만 혼돈(chaos)으로 알려진 예측불허의 소용돌이와도 다르다. 이들은 질서와 혼돈의 경계에 서있다. 혼돈의 가장자리(edge of chaos)라고 불리우는 이 경계에서 이들은 자신들이 이루어 놓은 구조들이 완전히 와해되어 버리지 않을 정도의 안정성(stability)을 지니게 되며, 개발과 탐구를 통해 새로운 구조를 세워 나갈 정도의 유동성(fluidity)을 동시에 지니게 된다. 혼돈의 가장자리는 질서와 무질서가 힘을 겨루는 전쟁터이며 복잡한 적응계가 살아남을 수 있는 장소이다. 이러한 개념은 상전이 현상(phase transition)과 매우 유사하다. 예를 들어 고체와 유체는 물질의 서로 다른 두가지 상태이다. 고체는 물질의 질서있는 상태이며 유체는 무질서한 상태이다. 온도가 내려가면 어떤 특정한 온도에서 무질서한 유체상태에서 질서있는 고체상태로 상전이를 일으키게 된다. 상전이가 일어나는 곳이 질서와 무질서가 대치하고 있는 곳이며 바로 혼돈의 가장자리 영역과 흡사하다. 보다 더 정확하게는 소위 이차 상전이 현상이 일어나는 곳(임계점)에서 이 두 개념은 아주 유사하다. 이 곳에서는 물질의 구조가 극도로 복잡해지며 모든 크기의 구조들이 존재하게 된다. 또한 이 구조들은 복잡한 쪽거리(fractal)들의 모양새를 이룬다. 더욱이 이 쪽거리들의 차원은 보편성(universality)을 가지고 있다. 즉 많은 다른 물질들도 유체에서 고체로 상전이를 일으키는 임계점에서는 같은 모양새를 보인다는 점이다. 이러한 상태에 있는 물질은 외부의 자극에 매우 예민하게 반응하며 또한 물질 전체가 하나의 결맞는 대응을 한다. 임계현상(critical phenomena)이라 불리우는 이러한 성질들은 복잡한 적응계가 보이는 성질들과 아주 흡사하게 보이지만, 적응을 통하여 새로운 구조들을 자발적으로 창출해 내지 못한다는 점에서 근본적으로 다르다. 또한 외부에서 인위적으로 특수한 환경을 조성하지 않고는(다시 말해서 임계점에 있지 않다면) 물질들이 자체적으로 임계상태에 이르지 못한다는 점에서 다르다(fine tuning problem). 복잡한 적응계는 자체조직화(self-organization)와 적응(adaptation)을 통하여 혼돈의 가장자리로 다가가며 또한 그 영역 속에서도 더 복잡하고 고차원적인 구조로 진화해 나간다.

평형상태에 있는 물질이 보이는 임계현상은 매우 복잡한 모양새를 보이지만 진화가 없다는 면에서 정체성을 벗을 수 없다. 그러면 비평형 상태에 있는 물질들은 복잡한 적응계가 보이는 자체조직화와 적응을 보여줄 수 있을까? 비평형 상태에 있는 물질들은 열역학 제2법칙에 의해 보다 무질서한 상태로 분해되어 가려 한다. 다시 말해서 무질서의 정도를 나타내는 엔트로피(entropy)는 항상 증가해야 한다. 철이 녹스는 이유가 바로 이 때문이며, 낙엽이 썩어 없어지는 이유가 이 때문이다. 하지만 외부의 개입이 충분히 크다면 부분적으로는 그 반대의 현상이 일어날 수 있다는 것을 우리는 경험으로 알아왔다. 충분한 영양 공급만 있으면 나무는 작은 씨로부터 커다란 구조로 자라며, 어린 아이는 어른으로 성장한다. 또한 학습을 통해서 인간은 더욱 고차원적인 사고행위를 하게 되며, 인류 문명은 상호 교류를 통해서 점점 더 복잡한 구조를 이루어 가고 있다. 강력한 외부 환경 속에 있는 복잡한 적응계들은 자발적으로 자체조직화를 이루어낸다.

최근들어 컴퓨터 시늉내기(simulation)를 통해 몇몇 비평형 통계 모형들이 강력한 외부 환경 아래서 실제로 자체조직화 임계현상(self-organized criticality)을 보여준다는 사실이 밝혀졌다. 초기에는 임계상태에 있지 않았던 비평형 물질계가 자발적으로 자체조직화를 통해 비평형 임계상태로 이동한다. 이 자체조직화 임계현상은 복잡한 적응계를 혼돈의 가장자리로 향하게 하는 추진력에 대한 힌트를 제시했지만, 이러한 모형들 속에는 생명과 같은 엄청난 역동성이 숨어있지 않은 듯이 보인다. 또한 이 곳에는 적응이나 내부모형과 같은 복잡한 적응계의 특성들이 없는 듯이 보인다.

고립되어 있는 계는 열역학 제2법칙에 따라 점점 더 무질서해져야 하며, 그 무질서도를 계량적으로 표현한 것이 바로 엔트로피이다. 반대로 강력한 외부 환경에 놓여 있는 계는 점점 더 구조가 복잡해져 간다. 이 사실은 강력한 외부 환경 속에서는 기존의 제2법칙과 정반대가 되는 새로운 제2법칙이 존재하고 있음을 시사하고 있으며, 이를 정확히 정의하기 위해서는 복잡성의 정도(complexity)를 계량화할 수 있는 수학적인 양이 필요한 것처럼 보인다. 즉 복잡성에 대한 미시적인 이해가 필요한 것이다. 하지만 아직은 적응, 복잡성, 생명, 발현과 같은 용어들의 의미조차 안개 속에 싸여있다. 지금의 상황은 열역학 제2법칙이 정립되기 전인 19세기 중반의 혼란시대와 비슷하다. 그 당시에는 열이라는 것의 존재는 알고 있었지만 그것이 무엇인지 전혀 모르고 있었다. 그들은 열이란 것이 많은 분자들의 운동에 의해 야기되는 에너지의 한 형태라는 것도 인식하지 못하고 있었다. 열역학 제2법칙의 중심적인 아이디어인 엔트로피의 개념도 19세기 말이 되어서야 통계역학의 정립으로 구체화 될 수 있었다. 복잡성의 과학의 핵심은 바로 이 새로운 제2법칙을 체계화 하는 데에 있다.

인간 사회를 포함한 모든 자연계에서 보편적으로 일어나는 동력학적 현상의 근본 원리를 이해하는 것이 복잡성의 과학의 궁극적인 목표이지만, 이를 규명하기 위해서는 컴퓨터 시늉내기가 필수적이다. 간단한 모형들을 컴퓨터로 시늉냄으로써 어떠한 동력학적 법칙들이 자연계의 복잡한 적응계를 구현할 수 있는 가를 알아보는 일이다. 대표적인 시늉내기 알고리즘이 홀랜드(John H. Holland)에 의해 제기된 유전자 알고리즘(genetic algorithm)이다. 이 알고리즘은 컴퓨터 프로그램을 하나의 디지털 염색체로 간주하고, 무작위적인 돌연변이(mutation)와 성교차(sexual crossover)를 통하여 새로운 프로그램들을 만들어 내어, 그 프로그램들의 성취도에 따른 자연 선택(natural selection)을 통해 적합성이 높은 프로그램들을 자발적으로 만들어 내게 하는 알고리즘이다. 또 되먹임(feedback)의 과정을 올바르게 반영하기 위해 적합성이 높은 프로그램을 만들어 내는 데 참여한 모든 기존 프로그램들에게 단계적으로 보상을 하는 물통여단(bucket-brigade) 알고리즘이 첨가된 것이 분류자 시스템(classifier system)이다. 이 분류자 시스템은 현실 세계의 복잡한 적응계와 유사한 동력학을 가지며, 현실적으로도 많은 응용이 이루어 지고 있다. 이 시스템은 되풀이된 죄수의 딜레마(iterated prisoner's dilemma)와 같은 사회 문제로부터 복잡하게 얽힌 가스 파이프라인 제어와 같은 공업적인 문제에 이르기 까지 널리 응용되고 있다. 또한 생태계의 공진화(coevolution)를 기술하는 에코(Echo) 모형, NK 모형 등과 학습(learning) 모형에도 적용되고 있다.

생명이 어떻게 발현하는가 또 생명체는 왜 지금과 같은 모양새로 존재하는가에 대한 질문은 우리가 무생물과 어떤 점에서 다른가를 근본적으로 이해하는데 가장 핵심적인 질문이다. 이를 통해 우리는 생명의 목적이 과연 무엇인가와 같은 궁극적인 질문에 대해 보다 가까이 갈 수 있을 것이다. 또한 우리 사회와 같은 복잡한 적응계가 어떻게 발전되어 나가는지를 이해하고 인류의 생존을 위해 우리가 어떤 도움을 줄 수 있는가에 대한 희망도 생겨나게 될지 모른다.

참고문헌

[1] 박형규, 김기식 번역, "카오스에서 인공생명으로" (범양사, 1995); M. Waldrop, "Complexity"

(Simon & Schuster, 1992);

[2] G. A. Cowan, D. Pines, and D. Meltzer ed., "Complexity" (Addison-Wesley, 1994).

[3] S. A. Kauffman, "The origins of order" (Oxford University, 1993).

[3] P. Bak, C. Tang, and K. Weisenfeld, Phys. Rev. Lett. 59, 381 (1987).

[4] P. Bak and K. Chen, Sientific American, January issue, 46 (1991).

[5] J. H. Holland, Scientific American, July issue, 44 (1992).