하둡 설치하기-3 Zookeeper, Hadoop 설치 이전 포스트하둡하둡 설치하기-1 VirtualBOX와 CentOS7 설치하둡 설치하기-2 CentOS7 기본 설정 및 JAVA 설치 3부 Zookeeper 및 Hadoop 설치Zookeeper 설치Zookeeper는 분산환경에서 서버들간에 상호조정이 필요한 다양한 서비스를 제공하는 시스템입니다. Firefox에서 zookeeper를 검색합니다. https://zookeeper.apache.org사이트로 이동합니다. 현재 이용가능한 버전이 보입니다. 우리는 3.4.8 버전을 사용할 것입니다. zookeeper를 다운받기 위해 다음의 명령어를 입력하고 다운을 받습니다.또한 압축을 풀고 소프트 링크로 묶습니다.** opt 디렉터리에서 다음의 명령어를 실행..

하둡 설치하기-2 CentOS7 기본 설정 및 JAVA 설치 이전 포스트하둡하둡 설치하기-1 VirtualBOX와 CentOS7 설치 2부 CentOS7 기본 설정 및 JAVA 설치 저번 1부에서는 Virtual Box에 CentOS7을 설치하였습니다. 이어서 진행해보겠습니다.Enter를 눌러 로그인을 진행합니다. 우선 첫째로 upgrade 명령어와 update로 패키지를 업데이트 합니다.[namenode@localhost ~]$ sudo yum upgrade && yum update sudoer를 부여합니다.[namenode@localhost ~]$ vi /etc/sudoers파일을 열고 ## Allow root to run any commands anywhere에서 hadoopALL=(ALL)ALL ..

하둡 설치하기-1 VirtualBOX와 CentOS7 설치 1부 VM VirtualBox 설치와 CentOS7설치 CentOS 7CentOS 7 버전을 다운 받기 위해 Google에 ‘centos download’를 검색합니다.http://www.centos.org/download/ 사이트로 들어갑니다. DVD ISO 메뉴를 선택합니다.다음에서 Actual Coutnry(한국)에서 한 가지를 선택하여 CentOS-7-x86_64-DVD_1511.iso 파일을 다운받는다. Virtual Box InstallVirtual Box 다운로드를 위해 Google에서 ‘virtualbox’를 검색합니다. http://www.oracle.com/technetwork/server-storage/virtualbox/do..

하둡 Hadoop 02-1 Data logistics 하둡 데이터 이동하둡으로 데이터를 집어 넣고(Data Ingress) / 하둡에 들어 있는 데이터를 가져오는 작업(Data Egress)은 외부 시스템에서 내부 시스템으로 데이터를 옮기거나 그 반대로 옮기는 과정을 말한다.하둡은 HDFS 및 맵 리듀스를 통해 저수준에서 Ingress 및 Egress를 지원한다.파일은 HDFS 안으로 옮기거나 HDFS 밖으로 옮길 수 있으며, 데이터도 외부 데이터 소스에서 가져오거나 맵-리듀스를 활용해 외부 데이터 싱크로 보낼 수 있다. 위의 그림에서 하둡의 Ingress 및 Egress의 매커니즘을 볼 수 있다. 외부 시스템과 내부 시스템 사이에서 데이터를 전송한다. 데이터가 다양한 위치에서 여러 형태로 존재한다는 사..

하둡 Flume Flume아파치 Flume은 스트리밍 데이터를 수집하기 위한 분산 시스템이다. 이 프로젝트는 인큐베이터 상태에 있는 아파치 프로젝트로, 본래 클라우데라(Cloudera)에서 개발했다. Flume은 필요에 따라 조절할 수 있는 다양한 수준의 안정성과 전송 보장 기능을 제공한다.Flume은 사용자 설정을 폭넓게 지원하며, 커스텀 소스 및 데이터 싱크를 추가할 수 있는 플러그인 아키텍처를 지원한다. Flume을 활용한 HDFS로의 시스템 로그 발행여러 서버의 애플리케이션 및 시스템에서 생산하는 수많은 로그 파일에 중요한 정보가 있다.이런 정보를 분석하려면, 하둡 클러스터로 로그 파일을 옮기는 작업을 해야 한다. 데이터 수집 프로그램인 Flume을 활용해 리눅스 로그 파일을 HDFS에 집어넣고,..

하둡 Hadoop 01-2 하둡 개요하둡 프로젝트밑의 그림은 사용자가 가장 많이 사용하는 툴로 중점적으로 다뤘다.맵 리듀스를 초보자가 구현하기에는 무리가 있으므로, 하둡 관련 프로젝트를 이용하자. 물리적 아키텍처물리적 아키텍처는 다양한 컴포넌트를 설치하고 실행할 수 있는 기초가 된다.밑의 그림은 하둡 및 다양한 물리적 아키텍처의 예제와 물리적 호스트 사이에서 어떻게 분산되는지 보여주다. 주키퍼(Zookeeper) 홀수 개의 쿼럼(quorum)을 필요로 하며, 보통 웬만한 크기의 클러스트에서는최소 세 개의 쿼럼을 사용하는 것을 권장한다. CPU, RAM 램, DISK 디스크, Network 네트워크를 이루는 물리적 아키텍처는 모두 클러스트의 쓰루풋과 성능에 영향을 미친다. 일반 하드웨어는 하둡의 하드웨어 ..

하둡 Hadoop 01-1 하둡 개요 빅 데이터 시대에 살고 있는 지금 방대한 크기의 데이터를 저장하고, 처리하는 기술은 데이터를 경쟁력 있게 활용하는 방법이다. 하둡 Hadoop은 많은 양의 데이터를 효과적으로 저장, 저장된 데이터를 연산 기능 제공하고 있다.하둡 Hadoop은 분산 파일 시스템으로 구성된 분산 시스템이며 장비 클러스터(Cluster)에서 프로그램을 병렬적으로 실행한다.하둡 Hadoop은 이미 야후, 페이스북, 트위터 같은 IT 기업에서 빅 데이터(Big data)를 처리하기 위해 채택한 기술이다. Hadoop이란?하둡이란?하둡 Hadoop은 분산 저장소와 연산 기능을 제공하는 플랫폼(Platform)이다.하둡 Hadoop은 오픈 소스 크롤러이자 검색 엔진인 너치(Nutch)에서의 확장..