[웹2.0] 집단 지능이 결집되다

[지디넷코리아]웹 1.0시대에 탄생해 웹 2.0시대에도 여전히 성공가도를 달리고 있는 대기업은 웹의 힘을 사용해 집단 지능(Harnessing Collective Intelligence)을 이용한다는 웹 2.0의 원칙을 실천하고 있다.

집단 지능을 이용하는 웹2.0의 원칙

• 웹의 기반은 하이퍼 링크이다. 유저가 추가한 새로운 콘텐츠나 사이트는 그 외의 유저에게 발견되어 링크되는 것으로 웹의 구조에 포함된다. 뇌의 시냅스와 같이 이러한 연결은 반복과 자극에 의해서 강화되어 웹 유저 전체의 활동에 따르고, 유기적으로 성장해 간다.

• 초기 인터넷 시대의 대표적인 성공 기업인 야후는 카탈로그 혹은 링크 디렉터리로서 등장했다. 야후는 몇천명 또는 몇백만명의 웹 유저가 작성한 웹페이지를 모았다. 그 후, 야후는 사업을 확대해 다양한 콘텐츠를 다루게 되었다. 인터넷 유저 전체의 활동에 액세스하기 위한 포털이라고 하는 역할은 지금도 야후의 본질적인 가치가 되고 있다.

• 검색 분야에 있어서의 구글의 핵심 전략은 페이지순위(PageRank)였다. 페이지순위는 문서의 특징뿐만이 아니라 웹의 링크 구조를 사용하고 좀더 좋은 검색 결과를 이끌어내는 수법이다. 이 기술에 의해서 구글은 순식간에 누구나가 인정하는 검색 시장의 리더가 되었다.

• 이베이의 상품은 유저 활동 그 자체다. 웹과 같이 이베이도 유저 활동에 따라 유기적으로 성장한다. 이베이의 역할은 유저의 활동의 준비를 하는 것에 있다. 또 경쟁 기업과 비교했을 때 이베이의 강점은 구매자와 판매자가 임계규모(critical mass)에 이르고 있는 것이다. 이 때문에 같은 서비스를 제공하는 기업이 나타나도 그 서비스는 이베이보다 덜 매력적으로 여겨진다. 아마존은 반즈앤노블닷컴 등의 경쟁 기업과 같은 제품을 취급하고 있다. 그리고 양 사는 모두 같은 벤더로부터 제품 정보, 표지 그림, 목차 정보 등을 얻고 있지만 아마존은 유저의 참여를 포함시키는 구조를 구축했다.

아마존에는 타사의 몇 배의 유저 리뷰가 게재되고 있고 거의 모든 페이지에서 유저의 참여를 유도하고 있다. 특히 더 중요한 것은 아마존이 검색 결과를 개선하기 위해서 유저의 활동을 이용하고 있는 것이다. 반즈앤노블닷컴으로 검색하면 보통 자사의 제품이나 스폰서의 제품이 표시되는데 비해 아마존에서는 항상 가장 있기 있는 제품이 표시된다. 이 데이터는 매출뿐만 아니라 그 외의 요소—아마존을 잘 아는 사람들이 제품의 ‘흐름(flow)’라고 부르는 것에 근거해 리얼타임으로 정보를 제공한다. 타사보다 많은 유저 참여를 이끌어내는 것을 생각하면 아마존이 매출에서도 경쟁 회사를 앞지르고 있는 것이 전혀 놀라운 사실이 아니다.

웹에서는 현재 이 원칙을 이해해 한층 더 발전시키고 있는 혁신적인 기업이 두각을 나타내고 있다.

• 온라인 백과사전인 위키피디어(Wikipedia)는 누구라도 기사를 투고해 편집할 수 있다는 생각할 수도 없는 아이디어에 근거하고 있다. 위키피디어는 신뢰에 입각한 진보적인 실험이다. 또한 “눈만 충분히 있으면 어떤 버그도 심각하지 않다”라는 에릭 레이먼드(Eric Raymond)의 격언(원래는 오픈 소스 소프트웨어의 문맥으로 말해진 것)을 콘텐츠 작성에 적용하고 있다. 위키피디어는 이미 톱 100 웹 사이트로 꼽히고 있지만 많은 사람들은 톱 10에 진입하는 것은 시간 문제라고 보고 있다. 콘텐츠 작성의 세계에서는 큰 변화가 일어나고 있다!

• 최근 큰 주목을 끌고 있는 델리셔스(del.icio.us)나 플릭커(Flickr)와 같은 사이트는 폭소노미(folksonomy)의 선구자이다. 폭소노미란 많은 유저가 자유로운 키워드(일반적으로 태그라고 불린다)를 데이터에 부가하는 것에 의해 데이터를 완만하게 분류해 나가는 방법이다. 본래의 엄밀한 분류 방법과 달리 태그를 이용하면 뇌와 같은 복합적이고 중복된 조합을 만들어낼 수 있다. 예를 들어, 플릭커에 보내진 강아지의 사진에 ‘강아지’와 ’귀엽다’라는 태그를 붙이면 다른 사람들은 어디에서나 자신의 생각과 맞는 사람의 키워드로 이 사진을 찾아낼 수 있다.

• 클라우드마크(Cloudmark)와 같은 스팸메일 필터링 제품은 많은 메일 이용자의 판단을 기초로 어떤 메일이 스팸메일인가, 그렇지 않은가를 판정한다. 판정 정도는 메시지만을 분석하는 기존 방법보다 높다.

• 인터넷 시대의 성공 기업은 자사의 제품을 광고 하지 않는다. 이러한 기업의 제품은 ‘바이러스 마케팅(viral marketing)’, 즉 유저의 소문에 의해서 퍼진다. 광고에 의존하는 사이트나 제품은 웹 2.0은 아니라고 판단해도 틀림없다.

• 오픈 소스의 협동적인 개발 방법은 많은 웹 인프라(Linux, Apache, MySQL, 대부분의 웹 서버에 포함되는 Perl, PHP, Python의 코드 등)에도 적용되고 있다. 오픈 소스 그 자체도 인터넷이 가능하게 한 집합지의 일례다. 소스포지닷넷(SourceForge.net)에는 10만 건을 넘는 오픈 소스 소프트웨어 프로젝트가 등록되어 있다. 이 사이트에는 누구나 프로젝트를 추가할 수 있어 코드를 다운로드하고 그것을 이용할 수 있다. 유저가 이용하는 것에 의해서 새로운 프로젝트는 주변부에서 중심부로 이동한다. 이것은 거의 100%를 바이러스 마케팅에 의존한 유기적인 소프트웨어의 채용 프로세스이다.

교훈：웹 2.0시대에는 유저의 공헌이 가져오는 네트워크 효과가 시장 우위를 획득하는 가장 중요한 요소다.

참여의 아키텍처
몇 개의 시스템은 최초부터 유저의 참여를 유도하도록 설계되고 있다. 댄 브리클린(Dan Bricklin)은 논문 ‘The Cornucopia of the Commons’에서 대규모 데이터베이스를 구축하는 세 가지 방법을 설명했다. 첫 번째는 야후가 보여준 방법으로 데이터베이스를 구축하기 위해 사람들을 고용하는 것이다. 두 번째는 오픈 소스 커뮤니티에서 힌트를 얻은 방법으로 이 작업을 진행할 자원봉사자를 구하는 것이다. 오픈 디렉터리 프로젝트가 하나의 예로 볼 수 있다. 세 번째가 냅스터(Napster)이다. 냅스터는 다운로드 받은 음악을 자동으로 업로드하게 되어 있다. 이 결과 모든 유저는 자동적으로 공유 데이터베이스의 가치의 향상에 공헌하게 되었다. 이후 모든 P2P 파일 공유 서비스는 이러한 접근 방식을 따르고 있다.

웹 2.0시대의 중요한 교훈의 하나는 유저가 가치를 더한다는 것이다. 그러나 소수의 유저만이 자신의 시간을 할애해 기업 애플리케이션의 가치를 높이려고 할 것이다. 따라서 웹 2.0 기업은 애플리케이션의 일상적인 사용의 부수 효과로 유저 데이터를 수집하고, 애플리케이션의 가치를 높일 수 있는 포괄적인 정책들을 설정해야 한다. 앞서 언급한 것처럼, 웹 2.0 기업의 시스템은 이용자가 증가할수록 개선된다.

미치 케이퍼(Mitch Kapor)는 “아키텍처는 정책이다”라고 말했다. 참여는 냅스터의 본질이며, 기본 아키텍처의 일부분이다.

이러한 참여의 아키텍처가 종종 언급되는 자원봉사 정신보다 오픈 소스 소프트웨어의 성공에 기여했을지도 모른다. 인터넷, 월드 와이드 웹, 리눅스, 아파치, 펄 등의 오픈 소스 소프트웨어에는 이러한 아키텍처가 적용되고 있어 ‘이기적인’인 관심사를 추구하는 개인 사용자들이 집단 가치까지 높일 수 있게 되어 있다. 이러한 프로젝트들 각각은 작은 핵심, 명확하게 정의된 확장 구조, 사용자들이 추가할 수 있도록 잘 정의된 컴포넌트를 갖고 있다. 이것은 펄의 창시자인 래리 윌(Larry Wall)이 ‘양파’를 예를 들어 설명한 성장하는 외부 계층들을 갖고 있다. 이러한 기술은 그들이 고안했던 방식대로 네크워크 효과를 낳고 있다.

이러한 프로젝트는 참여의 아키텍처에 적절한 것인지도 모른다. 그러나 아마존에서 보여준 것처럼 지속적인 노력(제휴 프로그램과 같은 인센티브를 이용하면)을 하면 이 아키텍처와는 전혀 무관하다고 생각되는 시스템에도 참여의 아키텍처를 적용할 수 있다.

블로그와 집단의 지혜
웹 2.0시대의 특징으로 가장 많이 언급되는 것이 블로그의 출현이다. 개인 홈 페이지는 웹의 초기부터 존재했고, 일기나 개인의 의견을 엮은 컬럼은 그 이전부터 있었다. 그렇다면 지금 이 정도로 각광을 받고 있는 것을 무엇 때문인가.

블로그의 기본은 일기 형식의 개인 홈페이지다. 그러나 리치 스크렌터(Rich Skrenta)가 지적한 대로 블로그의 연대기적 구조는 사소한 차이로 보이지만 기존과는 완전히 다른 전달 방법, 광고, 가치 사슬을 생산하고 있다.

블로그를 특별하게 만든 또 하나의 요인은 RSS로 불리는 기술이다. RSS는 웹의 기본 구조에 중요한 진보를 가져왔다. 초기 해커들은 CGI를 사용하는 것으로 데이터베이스와 연동한 웹 사이트를 구축할 수 있는 것을 발견했다. 그 시기 이후 RSS는 가장 중요한 진보라 할 수 있다. RSS를 이용하면 페이지에 링크할 뿐만 아니라 그 페이지를 구독할 수 있어 페이지가 변경될 때마다 변경 사실을 알 수 있다. 스크렌터는 이것을 ‘성장하는 웹(the incremental)’이라고 부르고, 다른 이들은 ‘라이브 웹(live web)’이라고 부른다.

물론 데이터베이스와 연동해 동적으로 콘텐츠를 생성하는 ‘동적인 웹 사이트’가 정적인 콘텐츠를 갖는 웹 페이지를 대체한 것은 수십년 전이다. 라이브 웹에서 동적이라고 하는 것은 페이지뿐만 아니라 링크도 의미한다. 블로그에 링크하는 것은 계속 바뀌는 페이지에 링크하는 것과 동일하다. 각각의 기사에 링크할 때는 고유링크(permalink)를 이용한다. 블로그에 갱신된 사항이 있으면 이를 알려주는 메시지가 전달된다. 이와 같이 RSS 피드는 북마크나 링크보다 훨씬 강력하다.

또한 RSS는 웹 브라우저가 단순히 웹 페이지를 보여주는 수단이 아니라는 것을 의미한다. RSS 수집기에는 블로그라인과 같은 웹 기반인 것도 있지만 데스크톱 클라이언트도 있다. 그 외에 사용자가 휴대 기기에서 끊임없이 갱신되는 콘텐츠를 볼 수 있도록 해주는 것도 있다.

현재의 RSS는 블로그의 기사뿐만이 아니라, 주가, 날씨 정보, 사진 등 모든 종류의 데이터의 갱신을 알리기 위해 이용되고 있다. 이것은 RSS의 근원까지 거슬러 올라간다. RSS는 1997년에 정기적으로 갱신된 데이터의 정보를 보내기 위해 이용되던 데이브 위너(Dave Winer)의 ‘Really Simple Syndication’ 기술과 넷스케이프의 ‘Rich Site Summary’가 합류하는 것에 의해서 탄생했다. Rich Site Summary는 넷스케이프의 포털 사이트를 사용자가 커스터마이즈해 갱신 정보를 정기적으로 얻을 수 있도록 하는 기술이었지만 넷스케이프는 이 기술에 흥미를 갖고 있지 않았다. 결국 이 기술은 블로그의 개척자인 유저랜드(Userland)에 의해 발전했다. 현재의 RSS 관련 애플리케이션에는 양쪽 기술 모두를 볼 수 있다.

그러나, 일반적인 웹 페이지와 블로그를 구별해주는 것은 RSS만이 아니다. 톰 코티스(Tom Coates)는 고유링크(permalink)의 중요성에 대해 다음과 같이 말하고 있다.

“…사소한 기능과 같이 생각될지도 모르지만 고유링크(permalink)의 등장에 따라 블로그는 간단하게 정보를 보낼 수 있는 툴에서 커뮤니티들이 회화 형식으로 생산되는 것으로 바뀔 수 있었다. 고유링크에 의해 처음으로 다른 사이트의 특정 기사에 대해 의견을 내놓고 사이트의 소유자와 대화할 수 있는 것이 가능하게 되었다. 토론이 등장하고 채팅이 시작되었다. 그 결과, 우정이 생겼거나 혹은 우정을 더욱 견고하게 만들었다. 고유링크는 블로그와 블로그를 엮는 첫 번째이자 가장 성공적인 시도였다”(코티스)

RSS와 고유링크는 웹 프로토콜인 HTTP 위에 유즈넷(Usenet)의 NNTP(Network News Protocol)의 많은 특성을 다양한 방법으로 추가시켰다. 블로그스피어(blogosphere)는 초기 인터넷의 대화의 장으로 여겨졌던 유즈넷과 게시판이라고 할 수 있다. 사람들은 서로의 사이트를 읽고 각 페이지의 코멘트에 간단하게 링크하는 것이 가능하다. 뿐만 아니라 트랙백(trackback)이라고 불리는 구조를 사용하면 다른 사람이 자신의 페이지에 링크한 것을 알 수 있어 상호 링크하거나 코멘트를 추가하는 것으로 응답할 수 있다.

흥미롭게도 양방향 링크는 제나두(Xanadu)와 같은 초기 하이퍼 텍스트(hyper text) 시스템이 목표였다. 하이퍼 텍스트(hyper text) 순수주의자들은 트랙백을 양방향 링크를 실현하기 위한 걸음으로서 환영했다. 그러나 트랙백은 엄밀하게는 양방향이 아니다. 양방향 링크와 동등한 효과를 만들어내는 대칭적인 단방향 링크이다. 이 차이가 사소하게 생각될지도 모르지만 실제로는 매우 크다.

예를 들어, 상대의 승인이 있어야만 커넥션을 구축할 수 있는 ‘Friendster’, ‘ Orkut’, ‘LinkedIn’과 같은 소셜 네트워킹 시스템은 웹 정도의 확장성을 갖고 있지 않는다. 사진 공유 서비스인 플릭커(Flickr)의 공동 설립자인 캐터리나 페이크(Caterina Fake)가 지적한 대로 상호 관심을 갖게 되는 것은 우연히 일어나는 것이다. (이 때문에 플릭커에서는 유저가 관찰 목록(Watch List)를 작성해 한 유저가 RSS를 통해 다른 유저가 갱신하는 사진을 볼 수 있도록 하고 있다. RSS에 등록했을 경우, 상대에게도 알려지지만 승인을 받을 필요는 없다)

웹 2.0의 본질이 집단 지능을 이용해 웹을 글로벌 브레인으로 바꾸는 것이라고 하면 블로그스피어는 끊임없이 계속되는 뇌 속의 대화를 모든 유저가 들을 수 있도록 하는 것이다. 이것은 뇌의 깊은 부분에서 거의 무의식가운데 행해지고 있는 사고가 아니라 오히려 의식적인 사고에 가깝다. 그리고, 의식적인 사고와 관심으로 인해 블로그스피어는 큰 영향력을 가지게 되었다.

검색 엔진은 적확한 검색 결과를 이끌어내기 위해서 링크 구조를 이용하고 있다. 이로 인해 대량의 링크를 만들어내는 블로거들은 검색 엔진 결과를 생성하는 중요한 역할을 하고 있다. 또한 블로그 커뮤니티는 극히 자기 언급적이기 때문에 다른 블로거가 주목하는 것으로 블로그의 존재감과 영향력을 확대하게 된다. 비평가들이 비난하고 있는 ‘반향실(echo chamber)’도 또 다른 증폭기이다.

이것이 단순한 증폭기였다면 블로그는 보잘 것 없는 것이 되었을 것이다. 그러나 위키피디어(Wikipedia)와 같이 블로그에서는 집단 지능이 일종의 필터 역할을 하고 있다. 제임스 슈리어웨키(James Suriowecki)가 ‘집단의 지혜’라고 부른 것이 페이지순위가 개별 문서를 분석하는 것보다도 뛰어난 검색 결과를 만들어내는 것처럼 블로그스피어에서는 집단의 관심이 가치 있는 것을 선별해낸다.

주류 미디어는 특정 블로그를 경쟁 상대라고 생각하겠지만 정말로 걱정스러운 것은 경쟁 상대가 블로그스피어 전체라는 것이다. 이것은 단순한 사이트간의 경쟁이 아니라 비즈니스 모델간의 경쟁이다. 웹 2.0 의 세계는 댄 길모어(Dan Gillmor)가 ‘우리가 미디어다(We, the media)’라고 부른 세계이기도 하다. 이 세계에서는 소수의 사람들이 은밀한 곳에서 무언가를 결정하는 것이 아니라 ‘한 때의 청중’이 무엇이 중요한가를 결정한다. @

이 기사는 2005년 9월 30일에 O'Reilly Network로 공개된 것이다.