AWS EC2와 Lambda iPerf3 네트워크 성능 측정 연구를 하다보니 네트워크 대역폭 측정이 필요 했습니다. iperf는 서버(server)와 클라이언트(client) 간의 네트워크 대역폭을 측정하는 벤치마크 입니다. 지금 현재 iPerf와 iPerf3가 출시되어 있습니다. iPerf3는 달성 가능한 최대 네트워크 대역폭을 측정하며, 타이밍, 버퍼(buffer), 및 프로토콜(protocol : TCP, UDP, SCTP, IPv4, IPv6)과 관련해 다양한 튜닝을 지원합니다. 각 테스트 마다 대역폭(bandwidth)과 손실(loss)를 포함해 보고를 합니다. iPerf는 다양한 OS(Linux, MacOS X, Windows)를 지원합니다. https://iperf.fr/ 코드 버전은 Git..

AWS EC2 Ubuntu1804에 GitLab 서버 설치 오늘은 AWS EC2에 GitLab을 설치해보겠습니다.AWS EC2 세팅AWS 사이트에 들어가 로그인을 진행합니다.https://aws.amazon.com/ https://console.aws.amazon.com/console/home 로그인을 하고나서 서비스에서 EC2로 이동합니다. 인스턴스를 시작해봅시다. 인스턴스 시작 버튼을 클릭합니다. AMI는 Ubuntu Server 18.04 를 선택합니다. 인스턴스 유형 타입은 t2.medium을 선택합니다 (t2.micro(free tier)는 자원이 적어 실행이 불가합니다.) 스토리지는 8G로 충분할 것 같습니다. 코드만 올릴 것이기 때문에보안 그룹 설정에서 Inbound 규칙을 추가 해야 합니다..

AWS Lambda OpenCV 라이브러리 빌드 video processing오늘은 비디오 프로세싱을 위해 Lambda와 S3를 이용한 프로젝트를 진행해보겠습니다. S3에 비디오를 올리면 다른 버킷(bucket)에 Video processing의 결과의 이미지들이 저장됩니다. Lambda에는 open-cv 라이브러리를 빌드해 처리할 것입니다. https://opencv-python.readthedocs.io/en/latest/doc/02.videoStart/videoStart.html 자세한 이전 과정은 다음의 글을 확인해주세요.AWS Lambda Python 라이브러리 numpy 배포 패키지 만들기 matmul 실행AWS Lambda PIL 라이브러리 빌드 image data augmentation L..

AWS Lambda PIL 라이브러리 빌드 image data augmentation 오늘은 이미지 프로세싱(image processing), 이미지 전처리(pre-processing), 딥러닝 CNN 모델 학습을 위한 데이터 확대(data augmentation)을 위해 Lambda와 S3를 이용한 프로젝트를 진행해보겠습니다. S3에 이미지를 올리면 다른 버킷(bucket)에 augmentation된 이미지들이 저장됩니다. Lambda에는 pillow 라이브러리를 빌드해 처리할 것입니다. https://pillow.readthedocs.io/en/5.3.x/ 자세한 이전 과정은 다음의 글을 확인해주세요.AWS Lambda Python 라이브러리 numpy 배포 패키지 만들기 matmul 실행 Lambd..

AWS Lambda, Google Cloud Functions, Azure Function 비교 논문 [Peeking Behind the Curtains of Serverless Platforms]Reference USENIX 2018 ‘Peeking Behind the Curtains of Serverless Platforms’ - Conference PaperLiang Wang, UW-Madison; Mengyuan Li and Yinqian Zhang, The Ohio State University; Thomas Ristenpart, Cornell Tech; Michael Swift, UW-Madison Presentation PPT : https://www.usenix.org/conference/..

AWS Lambda Python 라이브러리 numpy 배포 패키지 만들기 matmul 실행 AWS Lambda 실행 환경AWS Lambda 실행 환경에서 Python 라이브러리를 설치하고 올려야합니다.Lambda가 실행되는 환경을 살펴봅시다.https://docs.aws.amazon.com/ko_kr/lambda/latest/dg/current-supported-versions.html AWS 콘솔에 로그인을하고 여기를 클릭합니다. AMI를 확인할 수 있습니다. 인스턴스를 실행하기 위해 Launch 버튼을 클릭합니다. free tier인 t2.micro를 선택하고 Review and Launch 버튼을 클릭합니다. Launch 버튼을 클릭합니다. ssh로 접속하기 위한 key pair를 선택하고 I ac..

AWS Lambda Serverless 프로젝트 5 - 비디오 메타데이터 생성 - AWS 관리, 그룹, 역할, 자원, CloudWatch, CloudTrail, 결제 알람 AWS Lambda Serverless 프로젝트 1 - AWS CLI, Lambda, S3, IAMAWS Lambda Serverless 프로젝트 2 - IAM, Lambda, Elastic Transcoder, NPM, S3, CloudWatchAWS Lambda Serverless 프로젝트 3 - SNS, Lambda, S3AWS Lambda Serverless 프로젝트 4- 비디오 메타데이터 생성 - Lambda, SNS, S3AWS 보안, 로깅, 알람, 비용이어서 AWS의 보안, 로깅, 알람 및 비용에 대해 자세히 살펴보겠습니다..

AWS Lambda Serverless 프로젝트 4 - 비디오 메타데이터 생성 - Lambda, SNS, S3 AWS Lambda Serverless 프로젝트 1 - AWS CLI, Lambda, S3, IAMAWS Lambda Serverless 프로젝트 2 - IAM, Lambda, Elastic Transcoder, NPM, S3, CloudWatchAWS Lambda Serverless 프로젝트 3 - SNS, Lambda, S3Lambda 세 번째 함수 생성 그리고 FFprobe 세 번째 Lambda 함수는 비디오에 대한 메타 데이터가있는 JSON 파일을 만들어야합니다. 또한 메타 데이터 파일을 비디오 옆에 저장해야합니다. 이 람다 함수는 SNS를 통해 이전처럼 호출됩니다. 이 기능의 문제는 비..