MapReduce 프로그래밍(Hadoop) using GCP DataProc DataProc은 Google Cloud Platform의 서비스로 Apache Spark 및 Apache Hadoop을 실행하는 빠르고 쉽고 비용 효율적인 방법을 제시합니다. - 신속하고 확장 가능한 데이터 처리 - Cloud Dataproc 클러스터를 신속하게 생성하고 언제든지 크기를 조정할 수 있습니다. - 오픈 소스 생태계 - Spark, Hadoop, Pig 및 Hive의 버전 제공 Dataproc 클러스터 생성하기Google에 로그인하여 다음의 URL로 이동합니다. https://console.cloud.google.com/네비게이션 메뉴에서 Dataproc -> Clusters를 클릭합니다. Apache Hadoop..

MongoDB using Google Cloud Platform MongoDB대표적인 문서 데이터베이스JSON 문서로 작업많은 인덱스를 통해 고성능 지원고 가용성 - 복제 + 최종 일관성(consistency) + 자동 장애 조치(failover)자동 확장(scaling) - 클러스터 전체에 자동 sharding 지원 각 JSON 문서는 컬렉션(Collection)에 속하며 _id라는 필드(filed)를 가지고 있습니다.컬렉션 내에서는 _id는 고유해야 합니다. 각 컬렉션은 데이터베이스(database)에 속합니다. 기존의 RDBMS와 MongoDB의 차이점입니다. 문서(Documents)는 그룹화된 정보의 논리적 집합입니다.JSON에서 객체는 문서 단위가 될 수 있습니다. 컬렉션(collection) ..

Google Cloud Platform Cloud Vision API를 이용한 이미지, 얼굴 Detection Google Cloud ML Vision API를 이용한 이미지 텍스트 추출 그리고 번역을 위한 Translation API와 Natural Language APIGoogle Cloud Platform 이용한 텍스트 카테고리 분류 Natural Language API 첫 링크 글에서 API_KEY Set up을 따라하면서 진행해주세요!Google Storage는 첫 링크 글에서 진행했습니다! Google Storage Bucket에 이미지 업로드 하기이미지 분류(classification) 테스트를 위해서 이미지 한 장이 필요합니다. 사진을 준비해주세요!저는 미국에서 있을 때 홈파티 했을 때 찍..

Google Cloud Platform 이용한 텍스트 카테고리 분류 Natural Language API Google Cloud ML Vision API를 이용한 이미지 텍스트 추출 그리고 번역을 위한 Translation API와 Natural Language API 첫 링크 글에서 API_KEY Set up을 따라하면서 진행해주세요! Natural Language API기사(article) 분류(Classification)Natural Language API의 classifyText 메소드를 사용하면 단일 API 호출로 텍스트 데이터를 카테고리(category)로 정렬할 수 있습니다. 이 method는 텍스트 문서에 적용되는 내용을 카테고리(category)의 목록으로 반환합니다. 이러한 카테고리(c..

Google Cloud ML Vision API를 이용한 이미지 텍스트 추출 그리고 번역을 위한 Translation API와 Natural Language API curl을 사용하여 Vision API에 요청을 보낼 것이므로, 요청 URL에 전달할 API 키를 생성해야합니다. API 및 서비스 -> 대시보드로 이동합니다. 사이드 메뉴에서 “사용자 인증 정보" 클릭합니다. “사용자 인증 정보 만들기" 버튼을 클릭합니다. API 키 버튼을 클릭합니다. 그런 다음 방금 생성한 키를 복사합니다. 닫기를 클릭합니다. 이제 API 키를 환경 변수에 저장하여 각 요청에 API 키 값을 삽입하지 않아도됩니다. Cloud Shell에서이 작업을 수행 할 수 있습니다. 상단 메뉴에서 Cloud Shell 아이콘을 클릭해..

Deployments 관리 Kubernetes in Google Cloud PlatformGoogle Cloud with DockerGoogle Cloud with KubernetesOrchestrating Google Cloud with KubernetesJenkins Kubernetes Google Cloud Introduction to deployments이기종(Heterogeneous) 배포(deployment)에는 일반적으로 특정 기술 또는 운영상의 요구 사항을 해결하기 위해 두 개 이상의 고유 한 환경 또는 지역을 연결해야합니다. 이기종 배포는 배포의 특성에 따라 "하이브리드", "멀티 클라우드"또는 "공용 - 개인"이라고합니다. 예를 들어, 단일 클라우드 환경, 다중 공용 클라우드 환경 (하..

Jenkins Kubernetes Google CloudGoogle Cloud with DockerGoogle Cloud with KubernetesOrchestrating Google Cloud with Kubernetes Overview이번 실습에서는 Kubernetes Engine에서 실행되는 Jenkins를 사용하여 연속적으로 제공하는 파이프라인(pipeline)을 설정하는 방법을 배웁니다. 자세한 사항은 여기서 Jenkins on Kubernetes Engine 볼 수 있습니다. What we’ll do - Jenkins application을 Kubernetes 엔진 클러스터에 제공합니다. - Jenkins application을 설정하기 위해 설정(configuration) 파일, 자격 증명..

Docker Hadoop 클러스터 Hive 설치 Docker 설치가 완료된 가정 하에서 진행됩니다. Multi Server -> Docker Swarm 생성Docker swarm을 생성하기 위해서는 서버 중 마스터(master) 노드로 지정해야 합니다.https://docs.docker.com/engine/swarm/manage-nodes/ 하나의 서버에서 SWARM 마스터를 생성하는 docker swarm init 명령어를 실행합니다.$ docker swarm init --advertise-addr [HOST-IP] 다음에서 나온 docker swarm join -- token [TOKEN값] [HOST-UP]:2377 을 복사하여 다른 서버에 붙여 넣습니다. swarm에서의 Node 상태를 확인하기 ..