EQUILIBRIUM

GFS & Bigtable

기존의 데이터베이스로 다룰 수 없는 대용량 자료들을 다루는 것을 실현해낸 것이 바로 구글의 Bigtable이다. 이는 구조화된 데이터 분산 저장 방식으로 구조화된 데이터를 저장한다.

또한 GFS는 파일을 분산 저장하는 방법으로 구글의 데이터베이스에 기록하는 것 보다는 사용자가 검색을 실행했을 때를 위한 시스템이다.

두 기술의 공통점이라고 한다면 아무래도 데이터를 취급하는 용량에 대한 한계를 제거했다는 점일 것이다. 이렇듯 구글은 정말 거대한 체급을 유지하기 위하여 필연적인 분산 시스템을 이용하고 있다. 단순히 경제적이라는 이유만이 아니라는 점이 대단히 중요하다.

단순 모방은 반드시 실패한다

구글의 GFS는 기본적으로 64MB 단위로 데이터를 분할 저장하는 것을 기본으로 한다. 이렇게 데이터를 분할하는 것은 우선은 고용량 데이터에 대한 취급을 용이하게 하는데에 그 목적이 있겠지만 동시에 데이터 유실을 방지하기 위한 것이기도 하다.

이 64MB 단위의 데이터에는 대단히 평범한 이름이 붙어있다. 덩어리(chunk)이다.

이 덩어리들은 일반적으로는 3개의 서버에 동일한 복제로 저장된다. 이는 흡사 디스크 미러링 & 듀플렉싱(Duplexing)과도 유사한 측면이 있으나, GFS라는 별도의 이름이 붙어있는데에는 그만한 이유가 있을 것이다.

기본적으로 미러링은 디스크 장애로부터 시스템을 보호하기 위한 목적으로 사용되며, 한 대의 디스크 컨트롤러에 연결된 두 대의 디스크에 동시에 같은 데이터를 기록하는 원리로 작동한다. 데이터가 이중화 되기 때문에 한쪽 데이터가 유실되어도 한쪽에 고스란히 남아있는 말 그대로 실시간으로 백업을 하는 것이라고 보면 쉽게 이해된다.

데이터를 두 번째 디스크에 고스란히 복제하고, 두 번째 디스크를 통합된 제어 시스템에 연결하면 운영체제가 양쪽 디스크에 동시에 기록하는데, 사실 이것의 목적은 한쪽 디스크에 장애가 발생했을 경우 그 디스크를 교체하는 동안 다른 한 쪽 디스크를 사용하는 것에 있다. 즉, GFS와는 그 목적과 기록된 데이터의 사용 방식이 완전히 다르다.

GFS는 3개의 서버에 동시에 복제한다는 면은 미러링(mirroring)과 유사하게 보이지만, 앞서 언급한대로 이것은 대용량 자료를 다루기 위한 목적이 먼저이며, 또 한 가지 다른 것은 보통 사용자들의 편의를 위한 기술이라는 것이다.

즉, 미러링은 관리자 측면에서 데이터의 유실을 방지하기 위한 보험과 같은 개념이지만, GFS는 지극히 미국적인 정서가 반영된 것인지도 모른다. 이러한 정서는 남부 부농들의 컨트리 음악 소비 형태에서 그 유사한 측면이 있다.

GFS와 컨트리 음악 매니아들

미국 남부의 부농들은 컨트리 음악 매니아인 경우가 상당히 많이 있는 것으로 알려져 있다. 그들에게는 넓은 땅과 많은 창고 그리고 다양한 장비가 있다. 이들은 자신이 좋아하는 가수의 앨범 하나를 여러 장 구입한다. 그리고 자신이 주로 작업하는 장소에 같은 음반을 하나씩 분산배치해 둔다. 이것이 GFS와 같은 개념이다. 즉, 자신의 손이 닿는 가장 가까운 곳에 자신이 원하는 음반을 두고 그곳에서 빨리 음악을 듣기 위해서 똑같은 앨범을 여러 장 구매하는 것이다. 이렇듯, GFS는 저장에서는 분산 저장 방식을 사용하지만, 데이터를 읽어 올 때는 어김없이 가장 가까운 서버만을 이용한다. 자신이 원하는 곳에 둔 음반을 플레이어에 돌리는 농부의 심리와 비슷한 유저의 심리에 대한 반응인 것이다.

우리에게 현실적으로 가능한 것인가?

한국IBM에서 시스템z 기술영업을 총괄하는 윤병훈 상무는 “현재 기업들의 IT부서가 직면한 가장 큰 문제는 너무 많은 서버를 보유하고 있다는 것”이라며, “또 서버를 관리해야 할 인원은 제한적이다 보니 서버 관리를 아예 포기해버리는 경우도 부지기수”라고 설명했다.

과거의 경제학은 물과 공기를 무한 자원으로 분류했다. 그렇지만 오늘날에 그러한 사고방식은 대단히 위험하다는 것이 어느덧 <상식>의 이름으로 등장했다. 그만큼 전체를 보는 눈에 의해서 놓치지 쉬운 현실적인 사실들을 인지할 수 있을 정도로 많은 진보가 이루어진 것이다. 분명 모방은 창조의 어머니라는 말은 설득력이 있다. 하지만 그것은 <창조>를 낳기 위한 것이지 <모방>을 존속시키려는 의도에서 나온 표현은 아닐 것이다.

불임은 여성에게 매우 불행한 일이다. 창조적이지 못한 집단 또한 그러할 것이다.

Share on Facebook