Message Queue Patterns Cheat Sheet

Cheat sheet ini membahas pola-pola message queue yang umum dipakai di sistem terdistribusi, lengkap dengan contoh kode untuk RabbitMQ, Redis Streams, dan Amazon SQS/SNS. Memahami pola ini penting agar sistem kamu scalable, reliable, dan fault-tolerant.

#Konsep Dasar

#Apa Itu Message Queue

Message queue adalah sistem komunikasi async antar komponen aplikasi. Producer mengirim pesan ke queue, consumer mengambil dan memproses pesan tersebut. Queue memutus (decouple) producer dari consumer sehingga keduanya bisa bekerja dengan kecepatan berbeda.

#Komponen Utama

#Arsitektur Dasar

Producer ----> [Broker: Queue/Exchange] ----> Consumer
                    |
                    +---> Dead Letter Queue (jika gagal)

#Pola Komunikasi

#Point-to-Point

Satu producer, satu consumer. Setiap pesan diproses oleh tepat satu consumer.

Contoh RabbitMQ:

#Publish/Subscribe (Pub/Sub)

Satu producer, banyak consumer. Setiap consumer menerima copy pesan yang sama.

Contoh RabbitMQ dengan fanout exchange:

#Work Queue (Competing Consumers)

Satu queue, banyak consumer. Setiap pesan diproses oleh tepat satu consumer, tapi beban tersebar.

Contoh dengan fair dispatch di RabbitMQ:

#Request/Reply (RPC)

Producer mengirim pesan dan menunggu balasan dari consumer. Dipakai untuk pola RPC async.

#RabbitMQ Exchanges

#Tipe Exchange

#Topic Exchange

Topic exchange memakai routing key dengan pattern yang dipisahkan titik. Wildcard: * (satu kata), # (nol atau lebih kata).

#Header Exchange

#Redis Streams

#Apa Itu Redis Streams

Redis Streams adalah struktur data log append-only yang mendukung consumer group. Cocok untuk message queue ringan tanpa broker terpisah.

#Operasi Dasar

#Consumer Group

Consumer group memungkinkan multiple consumer membagi stream secara paralel, mirip work queue.

#Pending Entries dan Claim

Pesan yang belum di ack tetap berada di pending entry list (PEL). Kalau consumer mati, consumer lain bisa claim pesannya.

#Perbandingan Redis Streams vs RabbitMQ

#Amazon SQS dan SNS

#SQS (Simple Queue Service)

SQS adalah managed queue service dari AWS. Tipe: Standard (at-least-once, tidak terurut) dan FIFO (exactly-once, terurut).

#Visibility Timeout

Saat consumer menerima pesan, pesan jadi invisible untuk consumer lain selama visibility timeout. Kalau tidak di ack (delete), pesan akan muncul lagi.

#SNS (Simple Notification Service)

SNS adalah pub/sub messaging. Topic mengirim ke multiple subscriber (SQS, Lambda, HTTP, email).

#Fanout Pattern

Fanout adalah pola di mana satu SNS topic mengirim ke multiple SQS queue, setiap queue mendapat copy pesan.

#Dead Letter Queue (DLQ)

#Apa Itu DLQ

DLQ adalah queue tempat pesan yang gagal diproses dipindahkan setelah mencapai batas retry. Mencegah pesan beracun (poison pill) mengulang terus.

#DLQ di RabbitMQ

#DLQ di SQS

#Retry dan Backoff

#Strategi Retry

#Implementasi Exponential Backoff dengan Jitter

#Retry Queue di RabbitMQ

#Idempotency

#Apa Itu Idempotency

Idempotency berarti memproses pesan yang sama berkali-kali menghasilkan efek yang sama dengan memproses sekali. Penting karena message queue bisa mengirim pesan duplikat (at-least-once delivery).

#Strategi Idempotency

1. Unique ID: Cek apakah pesan dengan ID ini sudah diproses
2. Database constraint: UNIQUE constraint pada kolom idempotency key
3. State check: Cek state saat ini sebelum memproses
4. Optimistic locking: Versi atau timestamp untuk deteksi duplikat

#Contoh Implementasi

#Idempotency Key dengan HTTP API

#At-Least-Once vs At-Most-Once vs Exactly-Once

#Glossary

• Producer / Publisher: Komponen yang mengirim pesan ke queue atau exchange.
• Consumer / Subscriber: Komponen yang menerima dan memproses pesan.
• Queue: Penampung pesan sementara yang berurutan.
• Exchange: Router di RabbitMQ yang mendistribusikan pesan ke queue berdasarkan tipe dan routing key.
• Binding: Hubungan antara exchange dan queue dengan routing rule.
• Routing Key: String yang dipakai exchange untuk menentukan queue tujuan.
• Consumer Group: Sekelompok consumer yang berbagi stream di Redis Streams.
• Dead Letter Queue (DLQ): Queue untuk pesan yang gagal diproses setelah batas retry.
• Retry / Backoff: Strategi mencoba ulang pemrosesan pesan yang gagal dengan jeda makin lama.
• Jitter: Random noise yang ditambahkan ke backoff untuk menghindari thundering herd.
• Idempotency: Properti di mana operasi yang sama dijalankan berkali-kali menghasilkan efek yang sama.
• Visibility Timeout: Periode di mana pesan invisible untuk consumer lain setelah diambil (SQS).
• Acknowledge (Ack): Konfirmasi bahwa pesan sudah diproses dan boleh dihapus dari queue.
• Poison Pill: Pesan yang selalu gagal diproses dan mengulang terus.
• At-Least-Once Delivery: Garansi pesan tidak hilang, tapi mungkin duplikat.
• Exactly-Once Delivery: Garansi pesan diproses tepat sekali, biasanya dicapai dengan idempotency.
• Fanout: Pola di mana satu pesan dikirim ke multiple subscriber.