공돌이는 파닥파닥

분산 컴퓨팅 +1
아아아... 이 얼마만의 기술 포스팅인가.

대단한 내용이 아니긴 하지만,

그 동안의 '생활 포스팅'만 올리다가

이렇게 기술과 관련된 포스팅을 하고 있자니

감회가 새롭다.

뻘소린 고만 하고, 오늘 한 일은

Hadoop

 
이 녀석을

UbuntuCoF.svg

 
요놈한테


얘랑



얘를 이용하여 인스톨을 하였다.

데비안 배포판 시리즈의 좋은 점은 패키지 관리가 쉽다는 점인데

본디 MPICH를 이용하여 클러스터를 만들고자 했던 필자에게

우분투와 클라우데라는 가뭄에 단비였다.

그.러.나

apt-get을 이용하여 설치를 하기위해 튜토리얼의 스크립트를 작성한 후

'apt-cache search hadoop' 의 결과로 아무것도 나오질 않는 것이다.

이래 저래 찾아가며 시간을 허비한 후에

진리는 구글에 있다는 사실을 새삼 깨달았다.

클라우데라에서는 현재 우분투 스테이블 최신 버젼인 jaunty-stable용 패키지를 배포하질 않고 있다는 것

그것도 두달 전 Q&A였다.

그래서 나온 대안은 'intrepid'용 패키지가 있는데 이것이 jaunty에서 그럭저럭 돌아 준다고 한다.

해서, cloudera.list의 내용을 다음과 같이 바꿔준다.

deb http://archive.cloudera.com/debian intrepid-stable contrib
deb-src http://archive.cloudera.com/debian intrepid-stable contrib

바꾼다고 해봐야 배포판 이름만 바꾼거긴 하지만

이렇게 수정한 후에 튜토리얼을 쫒아가면 이상 없이 설치가 된다.

현재 Master 하나, Slave 2개를 설치한 후에

pseudo 모드에서의 샘플을 돌려본 상태이다.

아직 full distributed 모드로는 전환하질 못했다.

근데... 이거 해서 뭐할라고 하느냐...

잘 모르겠다.

본래 '분산환경'에 관해서 관심이 많았고

다중 지능 등에 관심을 가졌었기 때문일까.

임베디드 환경에서의 분산 컴퓨팅 프레임 워크의 등장을

손꼽아 기다리고 있다.

생각해 보면, Hadoop이나 coord 모두 리눅스 기반이니

임베디드 리눅스를 좀 똘똘하게 뽑아내면

어떻게.. 뭐 좀 되려나?

Comment +4