NVIDIA Triton Inference Server with Prometheus Metric 수집NVIDIA Triton Inference Server는 모델 성능 및 서버 상태를 모니터링하기 위해 Prometheus 매트릭을 제공합니다.이러한 매트릭을 통해 모델의 효율성을 분석하고 서버의 상태를 실시간으로 모니터링할 수 있습니다.  NVIDIA Triton Inference Server내 Prometheus 설정NVIDIA Triton Inference Server에서 Prometheus 매트릭을 수집하려면, 서버 설정 파일 또는 명령줄 인자를 통해 Prometheus 매트릭스를 활성화해야 합니다. 기본적으로 Triton은 Prometheus 매트릭을 지원하며, 다음 단계로 설정을 완료할 수 있습니..

NVIDIA Triton Inference Server NVIDIA Triton Inference Server는 AI 및 딥러닝 모델의 배포와 추론 작업을 관리하고 최적화하기 위해 설계된 고성능 서버 소프트웨어입니다. 주로 GPU 클라우드 또는 엣지 환경에서 사용되며, 다양한 딥러닝 프레임워크와 호환되어 다중 모델을 유연하게 배포할 수 있도록 지원합니다. Triton은 NVIDIA에서 제공하는 도구로, 특히 실시간 추론 작업이 필요한 AI 애플리케이션에 적합합니다.주요 기능과 특징다양한 프레임워크 지원: Triton은 TensorFlow, PyTorch, ONNX, TensorRT, XGBoost 등 여러 프레임워크를 지원합니다. 이를 통해 같은 서버에서 서로 다른 프레임워크의 모델을 쉽게 운영할 수 있..

BLOB 타입MySQL에서 BLOB(Binary Large Object) 타입은 대용량의 이진 데이터를 저장할 수 있는 데이터 타입입니다. 주로 이미지, 비디오, 오디오 파일, 바이너리 파일 등의 비정형 데이터를 데이터베이스에 저장하기 위해 사용됩니다. BLOB 타입은 데이터의 크기에 따라 네 가지로 나뉩니다.TINYBLOB: 최대 255 바이트의 데이터를 저장할 수 있는 작은 BLOB.BLOB: 최대 65,535 바이트(약 64KB)의 데이터를 저장할 수 있는 중간 크기의 BLOB.MEDIUMBLOB: 최대 16MB(16,777,215 바이트)의 데이터를 저장할 수 있는 큰 BLOB.LONGBLOB: 최대 4GB(4,294,967,295 바이트)의 데이터를 저장할 수 있는 매우 큰 BLOB.특징MySQ..

hash 함수hash 함수는 임의의 길이를 가진 데이터를 고정된 길이의 데이터로 매핑하는 수학적 함수입니다.hash 함수 개념**해시 함수(Hash Function)**란, 임의의 길이를 가진 데이터를 고정된 길이의 데이터로 매핑하는 수학적 함수입니다.해시 함수는 입력된 데이터(메시지, 문자열 등)를 일정한 길이의 해시 값(해시 코드, 해시 체크섬)으로 변환합니다. 이때, 같은 입력 값에 대해서는 항상 동일한 해시 값을 생성해야 하며, 해시 함수의 작은 변화가 큰 해시 값 변화를 일으키도록 설계됩니다.해시 함수의 중요한 특징은 다음과 같습니다:고정된 길이의 출력: 입력 데이터의 길이와 상관없이 해시 값은 고정된 길이를 가집니다. 예를 들어, SHA-256은 항상 256비트(32바이트)의 해시 값을 생성합..

분산 시스템에서의 hash분산 시스템에서의 해시(hash)는 데이터나 요청을 효율적으로 분산하고 관리하기 위해 사용되는 기술입니다. 해시는 데이터를 고정된 크기의 숫자나 문자열로 매핑하는 알고리즘을 의미하며, 이를 통해 데이터의 위치를 효율적으로 계산하거나 라우팅할 수 있습니다. 해시를 사용하는 이유와 활용 방식을 좀 더 구체적으로 설명하겠습니다.분산 시스템에서 해시의 역할데이터 분산: 분산 시스템에서는 데이터를 여러 노드에 분산 저장해야 하는데, 이때 해시 알고리즘을 사용해 데이터를 특정 노드에 매핑합니다. 예를 들어, 데이터의 키 값을 해싱하여 이를 통해 해당 데이터가 저장될 노드를 결정할 수 있습니다.로드 밸런싱: 해시를 통해 요청이 적절하게 분배되도록 하여 로드 밸런싱을 수행할 수 있습니다. 예를..

동기(Synchronous)와 비동기식(Asynchronous)의 차이동기식(Synchronous)와 비동기식(Asynchronous)의 차이는 작업을 처리하는 방식과 그에 따른 흐름 제어에 있습니다. 아래에 자세히 설명해드리겠습니다.동기식 (Synchronous)정의: 동기식 방식은 한 작업이 완료될 때까지 다른 작업이 대기하는 구조입니다. 작업 A가 끝나야 작업 B를 시작할 수 있습니다.특징:순차적 처리: 작업이 순서대로 진행됩니다. A가 끝나야 B가 시작되고, B가 끝나야 C가 시작됩니다.작업 완료 대기: 다음 작업을 시작하려면 현재 작업이 끝날 때까지 기다립니다.사용 예시: 많은 API 호출이나 파일 I/O 작업에서 동기적인 방식을 사용합니다. 예를 들어, REST API에서 GET 요청을 보낸 ..

RabbitMQ 클러스터 모드RabbitMQ에서 장애 발생 시의 Failover 처리는 크게 **클러스터링(Clustering)**과 **Mirrored Queue(혹은 High-availbilty Queues)**의 두 가지 메커니즘으로 관리됩니다.RabbitMQ 클러스터 모드에서 내부 장애가 발생했을 때의 Failover 처리 방법은 RabbitMQ의 클러스터링 및 고가용성(HA) 설정에 따라 다릅니다.RabbitMQ 클러스터 모드는 여러 RabbitMQ 노드를 하나의 클러스터로 묶어 장애 시에도 서비스가 계속 운영될 수 있도록 설계됩니다.1. RabbitMQ 클러스터의 구성 방식RabbitMQ 클러스터는 Disc 노드와 RAM 노드의 조합으로 구성됩니다:Disc 노드: 디스크에 메타데이터(큐 정의,..

RabbitMQRabbitMQ는 오픈 소스 메시지 브로커 소프트웨어로서 AMQP(Advanced Message Queuing Protocol) 기반으로 동작합니다.RabbitMQ는 확장성, 신뢰성, 유연성 측면에서 높은 평가를 받으며, 메시지 큐의 대표적인 구현체 중 하나입니다. RabbitMQ의 주요 특징과 개념은 다음과 같습니다주요 개념Producer(프로듀서):메시지를 생성하고 큐(queue)에 보냅니다.RabbitMQ에서 메시지는 교환기(exchange)를 통해 큐에 전달되기 때문에, Producer는 메시지를 교환기에 보냅니다.Exchange(교환기):교환기는 Producer로부터 받은 메시지를 특정한 큐에 전달하는 역할을 합니다.Exchange의 타입에는 direct, topic, fanout..