[하둡 설치] 참고한 블로그 정리

 

이번에 하둡 환경이 필요해서 하둡을 설치했는데 어떻게 겨우 설치를 해낸 것 같네요.

하나하나 다 정리하기는 힘들고 다음에 재설치를 할 때 보기 위한 용도도 참고한 블로그 리스트만 정리하려고 합니다.

 

 

 

1. 하둡 설치

How to Install and Configure Hadoop on Ubuntu 20.04

 

하둡 마스터의 설치는 위의 사이트를 참고했습니다.

영어로 되어있긴 하지만 보기 편한 사이트였어요. 

 

하지만 중간에 유저를 추가하는 부분에서 오류가 나서 여기(https://psychoria.tistory.com/707)를 참고했습니다.

우분투를 설치할 때 컴퓨터와 호스트명은 달랐지만 위의 과정에서 유저를 추가할 때는 모든 노드에 'hadoop'이라는 동일한 이름의 유저를 추가하여 불필요한 오류의 가능성을 줄였습니다.

 

SSH Key를 배포하는 것은 모든 노드에서 localhost와 스스로를 포함한 모든 노드의 호스트명으로 연결하였고,

'ssh hostnm' 코드로 확인했습니다.

 

 

2. 하둡 배포 (데이터노드 설정)

https://wikidocs.net/63337

위키독스

 

마스터노드에 설정한 내용을 데이터노드에 배포하는 것은 위의 게시글을 참고했습니다.

그대로 따라하진 않았고, Hadoop 배포 파트만 참고하였습니다.

이전의 slave 파일을 수정하는 내용이 있는데, hadoop 3.3.0에서는 workers 파일이 있어 그 파일에 대해 slaves 노드와 같은 작업을 수행하였습니다.