Message Queue에서 트랜잭션(Transactions)

Message Queue에서 트랜잭션(Transactions)

• Message Queue에서 트랜잭션은 특정 메시지 처리 작업이 전부 성공적으로 완료되거나 모두 무효화되도록 보장하는 메커니즘을 의미합니다.
• 이를 통해 메시지 소비 또는 생산 과정에서의 데이터 무결성과 일관성을 유지합니다. 트랜잭션을 지원하는 주요 Message Queue는 메시지 전송과 수신 과정에서 오류 발생 시 자동으로 롤백하거나, 정상 완료 시 커밋하여 데이터를 확정합니다.

---

1. 트랜잭션의 개념

트랜잭션은 일반적으로 원자성(Atomicity), 일관성(Consistency), 독립성(Isolation), 지속성(Durability)이라는 ACID 속성을 기반으로 합니다. Message Queue에서의 트랜잭션은 다음과 같은 상황에서 유용합니다:

• 원자성: 메시지 큐에 메시지가 하나 이상 성공적으로 전송되거나, 실패 시 전부 롤백합니다.
• 일관성: 메시지를 생성하거나 소비하는 과정에서 모든 조건이 만족될 때만 트랜잭션이 커밋됩니다.
• 독립성: 하나의 트랜잭션이 다른 트랜잭션의 영향을 받지 않도록 처리됩니다.
• 지속성: 트랜잭션이 성공적으로 커밋되면 시스템에 문제가 발생해도 해당 작업이 보장됩니다.

 

---

2. 트랜잭션 관리 방식

Message Queue에서 트랜잭션은 내부적으로 프로듀서와 컨슈머에 의해 관리됩니다. 일반적인 트랜잭션 관리 방식은 다음과 같습니다:

• 프로듀서 측 트랜잭션: 프로듀서가 메시지를 여러 개 큐에 송신하는 경우, 트랜잭션이 시작되면 중간에 실패할 경우 전체 메시지를 롤백하여 일관성을 유지합니다. 메시지 전송이 성공적으로 완료되면 commit 메서드를 호출해 모든 메시지를 확정하고, 실패 시 rollback 메서드를 호출해 이전 상태로 되돌립니다.
• 컨슈머 측 트랜잭션: 컨슈머가 메시지를 처리할 때 트랜잭션 범위 내에서 작업을 수행하며, 작업이 모두 성공하면 commit을 통해 메시지 처리를 확정합니다. 이때 메시지 큐에 대한 acknowledgment를 발행하여 메시지가 성공적으로 처리되었음을 알립니다. 반면 처리 실패 시 rollback을 통해 재처리할 수 있도록 합니다.
• 오프셋 관리: 메시지 큐는 트랜잭션을 수행할 때 오프셋을 관리합니다. 예를 들어 Kafka에서는 트랜잭션 중인 오프셋을 별도로 기록하고, 커밋 시점에 트랜잭션 오프셋을 확정하여 데이터 일관성을 보장합니다.

 

 

---

3. 트랜잭션 ID와 상태 관리

Message Queue는 트랜잭션을 식별하기 위해 트랜잭션 ID를 사용하며, 트랜잭션 상태를 기록하는 로그를 유지합니다. 트랜잭션이 시작되면 특정 ID가 생성되고, 트랜잭션의 모든 연산은 이 ID와 연관됩니다. 상태 정보는 주로 로그로 관리되어 시스템 오류 발생 시 특정 시점으로 되돌아가거나 재처리할 수 있도록 지원합니다.

Kafka와 같은 시스템에서는 트랜잭션을 통해 정확히 한 번 전송(exactly-once semantics)을 보장하는 구조를 유지하고, RabbitMQ는 ACK/NACK와 같은 메커니즘을 통해 기본적인 트랜잭션 성격을 제공합니다.

이를 통해 MQ 시스템은 신뢰성 높은 메시지 전송을 제공하며, 재시도 및 복구를 위한 메커니즘을 갖추어 확실한 메시지 처리를 보장하게 됩니다.

 

 

---

4. RabbitMQ에서 트랜잭션

• RabbitMQ는 트랜잭션 데이터를 메타데이터로 관리하지는 않습니다. RabbitMQ에서는 기본적으로 메시지 전달의 신뢰성을 위해 트랜잭션 대신 확인(ACK/NACK) 및 퍼블리셔 확인(Publisher Confirm) 메커니즘을 사용해 메시지의 전달 성공 여부를 관리합니다.
• 트랜잭션 방식이 아닌, 이러한 확인 메커니즘을 통해 메시지 손실 없이 신뢰성 높은 전송을 보장하는 구조입니다.

RabbitMQ의 트랜잭션 대안 메커니즘

1. 트랜잭션 방식: RabbitMQ는 트랜잭션 방식(txSelect, txCommit, txRollback)을 제공하지만, 성능상 단점으로 인해 주로 사용되지는 않습니다. 트랜잭션 사용 시, 메시지가 큐에 확정적으로 저장되기 전까지 롤백 가능성을 보장하지만, 이 방식은 성능 저하가 발생할 수 있습니다.
2. 퍼블리셔 확인(Publisher Confirm): 메시지를 전송한 후 브로커가 해당 메시지를 성공적으로 큐에 기록했음을 프로듀서에게 확인합니다. 이 방식은 트랜잭션을 사용하지 않으면서도 메시지의 정확한 도달을 보장하므로 높은 성능과 신뢰성을 동시에 확보할 수 있습니다. 퍼블리셔 확인은 트랜잭션과 비슷한 신뢰성을 제공하지만, 트랜잭션과 달리 대기 시간이 짧아 더 널리 사용됩니다.
3. 메시지 확인(ACK/NACK): RabbitMQ는 메시지가 컨슈머에 의해 처리되었음을 확인하기 위해 ACK를 사용합니다. 컨슈머가 메시지를 처리하고 ACK를 전송하면 브로커는 해당 메시지를 삭제합니다. 만약 컨슈머가 처리를 완료하지 못했거나 에러가 발생하면 NACK 또는 리젝트를 보내고, 메시지는 다시 큐에 남아 다른 컨슈머에게 전달될 수 있도록 합니다.

메타데이터 관리에 대한 한계

RabbitMQ는 Kafka처럼 메시지 오프셋이나 트랜잭션 ID를 메타데이터로 관리하지 않으며, 트랜잭션 로그를 남기지도 않습니다. RabbitMQ의 설계는 메시지 전송의 가벼움을 목표로 하며, 메타데이터 관리를 최소화하는 대신 메시지 전달의 신뢰성을 다양한 확인 메커니즘으로 보완하는 방식입니다.

결론적으로, RabbitMQ는 트랜잭션 상태를 메타데이터로 유지하는 방식이 아닌 ACK 및 퍼블리셔 확인을 통해 메시지의 성공적인 전달과 데이터 일관성을 보장하는 구조를 채택하고 있습니다.

 

 

---

Apache Kafka

• Apache Kafka에서 트랜잭션은 복잡한 상태 관리와 로그를 통해 메시지의 정확히 한 번 전송(exactly-once semantics, EOS)을 보장하며, 트랜잭션 메시지를 프로듀서와 컨슈머 사이에서 안전하게 처리하는 메커니즘을 제공합니다.
• Kafka의 트랜잭션은 메시지 손실이나 중복 없이 메시지 처리 과정을 보장하기 위해 다양한 내부 관리 방식을 사용합니다.

1. 트랜잭션 ID와 트랜잭션 로그

Kafka는 트랜잭션을 관리하기 위해 각 프로듀서에 트랜잭션 ID를 부여하고, 이를 통해 트랜잭션의 상태를 추적합니다. 트랜잭션이 시작되면 **트랜잭션 코디네이터(Transaction Coordinator)**가 트랜잭션 ID를 기반으로 트랜잭션의 상태와 메시지를 관리합니다.

• 트랜잭션 로그: 트랜잭션 코디네이터는 트랜잭션 로그(topic 이름: __transaction_state)에 트랜잭션의 상태를 기록합니다. 로그에는 트랜잭션의 시작, 커밋, 중단(Abort) 상태가 기록되며, 이를 통해 트랜잭션 중간에 실패가 발생해도 해당 상태를 복구할 수 있습니다.

2. 트랜잭션의 상태 관리

Kafka는 트랜잭션의 상태를 여러 단계로 나누어 관리합니다:

• INIT: 트랜잭션이 시작된 초기 상태.
• ONGOING: 메시지를 생산하고 있는 상태.
• PREPARE_COMMIT: 모든 메시지 전송이 완료되어 커밋을 준비하는 상태.
• PREPARE_ABORT: 트랜잭션 실패로 중단을 준비하는 상태.
• COMPLETE_COMMIT: 트랜잭션이 정상적으로 커밋된 상태.
• COMPLETE_ABORT: 트랜잭션이 중단되어 롤백된 상태.

이 상태들은 트랜잭션 로그에 기록되어 프로듀서와 컨슈머가 정확한 트랜잭션 상태를 유지할 수 있도록 합니다.

3. 오프셋 관리와 컨슈머의 역할

Kafka의 트랜잭션은 정확히 한 번 전송을 보장하기 위해 오프셋 관리와 트랜잭션 컨슈머 그룹을 활용합니다.

• 오프셋 관리: Kafka 트랜잭션은 트랜잭션 오프셋을 별도로 관리하여 커밋된 트랜잭션의 마지막 오프셋만 컨슈머가 읽을 수 있도록 제한합니다. 커밋되지 않은 트랜잭션의 메시지는 컨슈머에게 노출되지 않으며, 커밋이 완료되었을 때만 유효한 오프셋으로 표시됩니다.
• 트랜잭션 컨슈머 그룹: 컨슈머는 메시지를 읽을 때 트랜잭션 상태를 확인하여 커밋되지 않은 트랜잭션을 무시할 수 있습니다. 이를 통해 커밋된 메시지만을 소비하며, 중복이나 누락 없이 안전하게 데이터를 처리합니다.

4. 프로듀서와 컨슈머의 트랜잭션 과정

Kafka에서 트랜잭션 처리는 프로듀서와 컨슈머 모두에게 적용되어, 정확히 한 번 메시지를 생성하고 소비하는 과정을 보장합니다.

• 프로듀서 측 트랜잭션 관리: 프로듀서는 트랜잭션 시작 시 트랜잭션 코디네이터와 연결하여 트랜잭션 상태를 유지하며, 모든 메시지를 안전하게 큐에 저장합니다. 트랜잭션이 커밋되면 코디네이터는 COMPLETE_COMMIT 상태를 설정하여 메시지 전송을 확정하고, 컨슈머가 이를 읽을 수 있도록 합니다.
• 컨슈머 측 트랜잭션 관리: 컨슈머는 Kafka의 트랜잭션 상태를 통해 커밋된 메시지만을 읽어 정확히 한 번 메시지를 처리합니다. 커밋되지 않은 트랜잭션 메시지에 대한 접근을 차단해 중복 처리를 방지합니다.

5. 장애 복구

Kafka는 장애 발생 시 트랜잭션 로그를 사용하여 상태를 복구하고, 트랜잭션을 실패 시점에서 롤백하거나 커밋 시점으로 복원할 수 있습니다. 이를 통해 시스템 장애가 발생해도 데이터 일관성을 유지할 수 있습니다.

Kafka의 트랜잭션 관리 방식은 복잡하지만, 높은 신뢰성과 정확성을 제공해 금융 거래나 주문 처리와 같은 중요 시스템에서 신뢰성 높은 메시지 전송과 처리를 보장합니다.