라즈베리 파이 하둡 클러스터 - 1 라즈베리 파이3, 기본적인 설정

라즈베리 파이 하둡 클러스터 - 1 라즈베리 파이3, 기본적인 설정

라즈베리를 이용한 클러스터

라즈베리 클러스터 Raspberry Cluster

안녕하세요 이번 포스팅 부터는 라즈베리 파이3를 주로 하여, 기존에 안쓰고있는 라즈베리 파이2를 조합하여 클러스터 구성을 진행할 생각입니다. 기존에 스위치 허브나 유-전원 USB 허브를 구매하였는데, 진행하면서 하드웨어적으로 클러스터를 꾸미는 것에 변경 사항이 많을 것 같습니다. 최종적으로는 라즈베리 파이3 + @를 8개의 노드로 구성할 생각이고, 추가 확장할 생각입니다.

라즈베리 파이3 Raspberry Pi 3

Raspberry Pi 3 model B에 장착된 CPU는 64bit 쿼드 코어 ARM Coretex A53 CPU로 1.2GHz 입니다.

1GB LPDDR2-900 SDRAM을 장착했으며 VideoCore IV GPU 400MHz를 장착 하였습니다.

Raspberry Pi 3는 BCM43438 칩 셋에 Wifi와 Bluetooth 4.0이 내장되어 있습니다.

전원 공급은 2.5 A의 Micro USB 전원을 공급해야 합니다.

라즈베리 파이3 OS 설치

라즈베리 파이3 OS를 설치하기 위해 다음의 사이트로 이동합니다.

http://raspberrypi.org/

상단 메뉴에서 DOWNLOADS로 이동합니다.

데비안 계열의 RASPBIAN OS를 다운 받기 위해 RASPBIAN을 클릭합니다.

하둡 구성에 있으서 데스크톱 환경이 필요 없습니다! 그러므로 LITE 버전으로 다운을 진행합니다.

다운을 진행 후에 압축을 풀어주세요!

Mini SD카드에 OS를 얹기위해  Win32DiskImager 를 설치하셔야 합니다.

https://sourceforge.net/projects/win32diskimager/

다운로드를 진행하고 설치해 주세요!

실행에 앞서 SD카드를 카드 리더기에 넣어주시고 컴퓨터에 연결해주세요!

Win32 Disk Imager를 실행하시면 SD 이동식 카드가 장착된 드라이브가 자동으로 잡힙니다.

다운 받은 Image File을 불러와야 합니다. 다운 받으신 2016-03-18-raspbian-jessie-lite.img를 선택합니다.

Write 버튼을 눌러 SD카드를 쓰기 시작합니다. Confirm overwrite -> Yes

Write Successful 떴다면 완성! 이제 라즈베리 파이3에 꽂고 전원을 연결하고, HDMI 모니터에 연결하여 실행을 해보는 방법을 이용하겠습니다. 라즈베리 파이3 기본적인 설정이 끝나면 이후에는, 모니터에 연결하실 필요 없이 SSH 통신을 이용해 설정 가능합니다.

입력 장치로 무선(유선) 키보드와 HDMI를 연결하고 전원을 연결합니다. 연결 이후에 부팅이 되는 것을 확인하실 수 있습니다.

다음과 같은 bash 환경에서 login을 해야 합니다. login : pi  password : raspberry 를 입력합니다.

로그인 이후에는 라즈베리파이 환경설정을 해야합니다.

pi@raspberrypi:~$ sudo raspi-config

SD카드 확장

첫 번째 메뉴를 실행합니다. 1. Expand FileSystem (SD카드)

언어 설정 및 시간 설정

다섯 번재 메뉴를 실행합니다. Internationalisation Options

Change Locale 로 들어가 en_US ISO-8859-1, UTF-8 , ko_kr UTF-8을 선택합니다.

두 번째 Change Timezone 에서 Asia->Seoul을 입력합니다.

세 번째 Change Keyboard Layout에서 Generic 105-key (Intl) PC 선택 -> Other 선택 -> Korean 선택 -> Korean - Korean (101/104 Key compatible) 선택 -> The default for the keyboard layout 선택 -> No compose Key 선택 -> Yes

이후에 reboot 재부팅합니다.

리부팅 후에 라즈베리파이의 루트 패스워드 설정을 합니다.

pi@raspberrypi:~$ sudo passwd root

다음은 해당 지역의 Wifi 연결을 위해 스캔가능한 wifi 리스트를 가져옵니다.

pi@raspberrypi:~$ sudo iwlist wlan0 scan

해당하는 와이파이의 ESSID를 확인하시고 와이파이 설정을 진행해 봅시다.

pi@raspberrypi:~$ su -

pi@raspberrypi:~$  wpa_passphrase "SSID_NAME" SSID_PASSWORD >> /etc/wpa_supplicant/wpa_supplicant.conf

저 같은 경우는

pi@raspberrypi:~$ wpa_passphrase House kimjc8978 >> /etc/wpa_supplicant/wpa_supplicant.conf

vi 편집기를 이용해 확인을 하면 wifi와 비밀번호가 추가 된 것을 확인할 수 있습니다.

pi@raspberrypi:~$ vi /etc/wpa_supplicant/wpa_supplicant.conf

이후에 무선랜을 재 시작합니다.

pi@raspberrypi:~$ sudo ifdown wlan0

pi@raspberrypi:~$ sudo ifup wlan0

ping을 쳐봐도 아직은 인터넷이 잡히지 않습니다.

네트워크 설정을 해야 합니다.

pi@raspberrypi:~$ sudo vi /etc/network/interfaces

auto lo

iface lo inet loopback

allow-hotplug wlan0

iface wlan0 inet manual

wpa-conf /etc/wpa_supplicant/wpa_supplicant.conf

allow-hotplug wlan1

iface wlan1 inet manual

wpa-conf /etc/wpa_supplicant/wpa_supplicant.conf

다음과 같이 수정해주세요!

auto lo

iface lo inet loopback

allow-hotplug wlan0

iface wlan0 inet dhcp

wpa-conf /etc/wpa_supplicant/wpa_supplicant.conf

auto eth0
iface eth0 inet dhcp

변경하고 저장해주세요

pi@raspberrypi:~$ sudo service networking restart

pi@raspberrypi:~$ ifconfig

할당된 ip를 wlan0에서 확인할 수 있습니다. 192.168.0.40입니다.

자 이제 노트북이나 컴퓨터에서 putty를 실행하여 해당 ip로 접근하여 ssh 통신이 가능해집니다.

putty를 실행합니다. Host Name에 해당 ip를 입력합니다.

Open을 누르고 나면 다음의 팝업창에서 Yes를 누릅니다.

다음과 같이 SSH 통신으로 raspberry에 접속됩니다.

다음의 개발 환경에서는 putty를 이용해서 SSH 통신으로 진행할 것입니다.

라즈 베리에서는 HDMI를 이용해 모니터에 연결은 안 하셔도 되고 전원 연결 후에 putty로 접속하시면 됩니다.

다음 포스팅 서부터 hadoop 설치를 진행해보겠습니다.