Jeongchul Kim

AWS Certified Cloud Practitioner 클라우드 자격증 안녕하세요 :D 최근에 AWS Certificated Practitioner 자격증을 2020년 연말에 취득을 목표로 준비하면서 정리하고 있는 내용을 소개하려고 합니다. AWS Certified Cloud Practitioner 클라우드 자격증 실전 문제를 활용한 준비-[1] AWS Certified Cloud Practitioner 클라우드 자격증 실전 문제를 활용한 준비-[2] AWS Certified Cloud Practitioner 클라우드 자격증 실전 문제를 활용한 준비-[3] 제가 준비하는 AWS Certified Cloud Practitioner 자격증은 AWS 기초 자격증에 해당하는 AWS 클라우드 공인 전문가 자격..

container보다 빠른 새로운 가상화 기술 Firecracker Reference [1] https://firecracker-microvm.github.io/ [2] https://www.redhat.com/ko/topics/virtualization/what-is-KVM] [3] https://www.redhat.com/ko/topics/virtualization/what-is-virtualization [4] https://en.wikipedia.org/wiki/Hypervisor Firecracker 오픈 소스 가상화 기술로 함수 기반 서비스(FaaS)를 만들고 관리하기 위한 목적으로 만들어졌습니다. 기존 container의 startup 시간과 가상화 및 작업 부하 격리 기능을 최적화 하였습니..

AWS Lambda PyTorch RNN 모델 서빙하기 오늘 할 작업은 Lambda에 딥러닝 RNN 모델을 올려 서비스로 구현해보겠습니다.RNN 모델이 하는 작업은 Character 글자 단위로 이름을 생성하는 작업입니다.https://pytorch.org/tutorials/intermediate/char_rnn_generation_tutorial.html 튜토리얼 따라 쭉 진행하시면서 코드를 이해해주세요데이터셋은 여기 있습니다. https://download.pytorch.org/tutorial/data.zip 이 모델을 이용하는 프로그램은 2가지의 입력을 받습니다. language와 이름의 첫 시작할 단어 한 글자를 받습니다. Lambda 생성 S3 생성 및 모델 파일 업로드 버킷을 하나 생성해주세요..

AWS Lambda Serverless MapReduce 오늘은 AWS Lab에서 Serverless computing인 Lambda 서비스를 이용해 MapReduce를 구현한 내용을 살펴보겠습니다.Serverless Computing이 이슈이기도 하고, MapReduce에 관한 내용이나 성능적인 면에 있어도 많은 연구가 일어나고 있습니다. 원문 내용의 주소는 다음과 같습니다.https://aws.amazon.com/blogs/compute/ad-hoc-big-data-processing-made-simple-with-serverless-mapreduce/ Github 코드 주소는 다음과 같습니다.https://github.com/awslabs/lambda-refarch-mapreduce Serverle..

AWS EC2와 Lambda iPerf3 네트워크 성능 측정 연구를 하다보니 네트워크 대역폭 측정이 필요 했습니다. iperf는 서버(server)와 클라이언트(client) 간의 네트워크 대역폭을 측정하는 벤치마크 입니다. 지금 현재 iPerf와 iPerf3가 출시되어 있습니다. iPerf3는 달성 가능한 최대 네트워크 대역폭을 측정하며, 타이밍, 버퍼(buffer), 및 프로토콜(protocol : TCP, UDP, SCTP, IPv4, IPv6)과 관련해 다양한 튜닝을 지원합니다. 각 테스트 마다 대역폭(bandwidth)과 손실(loss)를 포함해 보고를 합니다. iPerf는 다양한 OS(Linux, MacOS X, Windows)를 지원합니다. https://iperf.fr/ 코드 버전은 Git..

AWS EC2 Ubuntu1804에 GitLab 서버 설치 오늘은 AWS EC2에 GitLab을 설치해보겠습니다.AWS EC2 세팅AWS 사이트에 들어가 로그인을 진행합니다.https://aws.amazon.com/ https://console.aws.amazon.com/console/home 로그인을 하고나서 서비스에서 EC2로 이동합니다. 인스턴스를 시작해봅시다. 인스턴스 시작 버튼을 클릭합니다. AMI는 Ubuntu Server 18.04 를 선택합니다. 인스턴스 유형 타입은 t2.medium을 선택합니다 (t2.micro(free tier)는 자원이 적어 실행이 불가합니다.) 스토리지는 8G로 충분할 것 같습니다. 코드만 올릴 것이기 때문에보안 그룹 설정에서 Inbound 규칙을 추가 해야 합니다..

AWS Lambda OpenCV 라이브러리 빌드 video processing오늘은 비디오 프로세싱을 위해 Lambda와 S3를 이용한 프로젝트를 진행해보겠습니다. S3에 비디오를 올리면 다른 버킷(bucket)에 Video processing의 결과의 이미지들이 저장됩니다. Lambda에는 open-cv 라이브러리를 빌드해 처리할 것입니다. https://opencv-python.readthedocs.io/en/latest/doc/02.videoStart/videoStart.html 자세한 이전 과정은 다음의 글을 확인해주세요.AWS Lambda Python 라이브러리 numpy 배포 패키지 만들기 matmul 실행AWS Lambda PIL 라이브러리 빌드 image data augmentation L..

AWS Lambda PIL 라이브러리 빌드 image data augmentation 오늘은 이미지 프로세싱(image processing), 이미지 전처리(pre-processing), 딥러닝 CNN 모델 학습을 위한 데이터 확대(data augmentation)을 위해 Lambda와 S3를 이용한 프로젝트를 진행해보겠습니다. S3에 이미지를 올리면 다른 버킷(bucket)에 augmentation된 이미지들이 저장됩니다. Lambda에는 pillow 라이브러리를 빌드해 처리할 것입니다. https://pillow.readthedocs.io/en/5.3.x/ 자세한 이전 과정은 다음의 글을 확인해주세요.AWS Lambda Python 라이브러리 numpy 배포 패키지 만들기 matmul 실행 Lambd..