ทำ API ผลเลือกตั้งเรียลไทม์ให้รับ traffic สูงอย่างไร? Redis cache และรับมือ 429

ระบบนี้มีหน้าที่อะไร และยากตรงไหน?

• ส่งข้อมูลให้ผู้อ่านจำนวนมากโดยไม่ช้า

  ทั้งข้อมูลที่แทบไม่เปลี่ยน (50 เขต, ผู้สมัครผู้ว่าฯ 18 คน และ ส.ก. 258 คน, 10 พรรค) และข้อมูลที่เปลี่ยนทุกนาทีในคืนนับคะแนน

• ไม่ยิงผู้ให้บริการผลคะแนนเกินเพดาน

  ผลคะแนนมาจากผู้ให้บริการภายนอกที่มี rate limit ถ้าส่ง request ของผู้อ่านทุกคนไปตรงๆ จะโดน 429 ภายในไม่กี่นาที

• ให้บรรณาธิการคุมได้ว่าตัวเลขไหนขึ้นเว็บ

  สำนักข่าวเผยแพร่ตัวเลขที่ยังไม่ได้ตรวจไม่ได้

ทำ Redis cache หน้า Express ให้ใช้ได้จริงต้องคิดเรื่องอะไรบ้าง?

1. 1.
   Key ต้องไม่แตกโดยไม่จำเป็น

   key คือ method + path + query string ที่

   เรียงลำดับแล้วและตัดพารามิเตอร์ cache ออก

   ทำให้ ?a=1&b=2 กับ ?b=2&a=1 ใช้ cache ก้อนเดียวกัน

   function buildCacheTarget(req) {
     const [path, search = ''] = req.originalUrl.split('?')
     const params = new URLSearchParams(search)
     params.delete('cache')
     params.sort()
     const q = params.toString()
     return q ? `${path}?${q}` : path
   }

2. 2.
   มีทางสั่ง cache จาก URL

   เติม ?cache=refresh เพื่อข้าม cache แล้วเขียนค่าใหม่ทับ หรือ ?cache=bypass เพื่อข้ามโดยไม่เขียน ทุก response มี header X-Cache บอกว่าเป็น HIT, MISS, REFRESH หรือ BYPASS ไล่ปัญหาได้จาก DevTools ทันที

3. 3.
   Cache เฉพาะ response 2xx

   error ไม่ถูกเก็บ ถ้าฐานข้อมูลสะดุดชั่วคราว ผู้อ่านจะไม่เจอ error เดิมซ้ำจนหมดอายุ cache

   res.json = (body) => {
     res.json = originalJson
     if (mode !== 'bypass' && res.statusCode >= 200 && res.statusCode < 300) {
       setCache(key, { body, statusCode: res.statusCode }, ttl)
         .catch((err) => logger.warn({ err, key }, 'cache write failed'))
     }
     return originalJson(body)
   }

4. 4.
   Cache พังต้องไม่ทำให้ API พัง

   ถ้าอ่านหรือเขียน Redis ไม่สำเร็จ ระบบแค่บันทึก log แล้วไปต่อ cache เป็นตัวช่วย ไม่ใช่จุดที่ทำให้ทั้งระบบล่ม และมีสวิตช์ปิด cache ทั้งระบบผ่าน environment variable

5. 5.
   บีบอัดค่าที่ใหญ่

   ค่าที่ใหญ่กว่าเกณฑ์จะถูก gzip ก่อนเก็บ และติด prefix ไว้ให้รู้ว่าค่าไหนต้องคลาย ข้อมูลรายเขตที่เป็น JSON ก้อนใหญ่จึงใช้หน่วยความจำ Redis น้อยลง

ข้อมูลแต่ละแบบควร cache นานเท่าไร?

รับมือ rate limit 429 ของผู้ให้บริการภายนอกอย่างไร?

1. 1.

   429 จาก key แรก → สลับไป key สองทันที

2. 2.

   429 จาก key สอง → รอตามเวลาที่ผู้ให้บริการบอก (header retry-after หรือเวลา reset ใน body) แล้วกลับไปใช้ key แรก

3. 3.

   429 จาก key แรกอีกครั้ง → สลับไป key สอง ครบหนึ่งรอบ

client.interceptors.response.use(null, async (error) => {
  const { config, response } = error
  if (response?.status !== 429) return retryOtherErrors(error)


  config.attempt429 = (config.attempt429 || 0) + 1
  const usingFirstKey = config.headers.Authorization === KEYS[0]


  if (usingFirstKey && config.attempt429 === 1) return withKey(config, KEYS[1])
  if (!usingFirstKey && config.attempt429 === 2) {
    await sleep(waitFrom(response)) // retry-after header, or reset time in body
    return withKey(config, KEYS[0])
  }
  // ...step 3, then restart the cycle up to 2 times
})

ทำไมต้องแยกข้อมูลดิบกับข้อมูลที่เผยแพร่?

export async function publishStatistics(electionType, source) {
  const { allowPartnerUpdate } = await getCmsConfig()
  if (!allowPartnerUpdate) return // editors hold the published tables


  const raw = await db.query.rawStatistics.findFirst({ /* by election + source */ })
  if (!raw) return
  await db.insert(publishedStatistics).values(raw)
    .onConflictDoUpdate({ target: [/* election, source */], set: /* ... */ })
}

• ถ้าข้อมูลจากผู้ให้บริการดูผิดปกติ บรรณาธิการปิดสวิตช์ได้ทันที หน้าเว็บค้างที่ตัวเลขล่าสุดที่ผ่านการตรวจ ส่วนข้อมูลดิบยังไหลเข้ามาให้ตรวจต่อได้

• CMS ยังเลือก

  แหล่งข้อมูล

  ได้สามแบบ คือ auto, realtime (ผลนับเร็ว) หรือ final (ผลทางการ) และ override ราย request ได้ด้วยพารามิเตอร์ source

• route ผลคะแนนสดแนบค่าตั้งของ CMS (แหล่งข้อมูล, เปิดรีเฟรชอัตโนมัติไหม, ทุกกี่วินาที) ไปกับ response หน้าเว็บจึงรู้เองว่าต้องรีเฟรชถี่แค่ไหน โดยไม่ต้อง deploy ใหม่ ในคืนเลือกตั้งการรีเฟรชสดทำงานได้ตามที่ตั้งไว้

Background job ปรับอย่างไรในวันเลือกตั้ง?

• updateMaster

  ข้อมูลหลัก (เขต, ผู้สมัคร) ทุก 1 วัน

• updateDynamic

  สถิติ, คะแนนรายเขต, คะแนนผู้สมัคร และพรรค ทั้งแบบ realtime และ final

สิ่งที่ยังไม่ได้ทำ และจะทำต่อ

• ไม่มีผล load test

  ใน repo มีสคริปต์ benchmark สำหรับ Redis แต่ไม่มีผลที่บันทึกไว้ ตัวเลข traffic ในบทความนี้มาจาก analytics ไม่ใช่การทดสอบ

• TTL ของผลคะแนนสดกับรอบของ job ยังแยกกันอยู่

  ครั้งหน้าผมจะผูกสองอย่างนี้เข้าด้วยกัน หรือให้ job ล้าง cache ของ route ที่เกี่ยวข้องเองหลังเขียนข้อมูลใหม่

• ตัวเลข traffic เป็นค่าคร่าวๆ

  ของจริงน่าจะสูงกว่านี้

FAQ

ทำไมไม่ให้หน้าเว็บเรียกผู้ให้บริการผลคะแนนตรงๆ?

ใช้ ?cache=refresh แล้วคนทั่วไปล้าง cache ได้ไหม?

ทำไมไม่ cache response ที่เป็น error?

ทำไมใช้ Agenda แทน cron?

Redis ล่มแล้วเว็บล่มด้วยไหม?

สรุป

• ✅ Cache key จาก URL ที่เรียงแล้ว, cache เฉพาะ 2xx และ cache พังต้องไม่ทำให้ API พัง

• ✅ ตั้ง TTL ตามความถี่ที่ข้อมูลเปลี่ยน แล้วให้คนหน้างานล้าง cache เองได้

• ✅ ผู้อ่านไม่คุยกับผู้ให้บริการภายนอกเลย มีแค่ job เดียวที่คุย และเคารพ retry-after

• ✅ แยกตาราง raw กับตารางที่เผยแพร่ ให้บรรณาธิการถือสวิตช์

• Redis: SCAN
• MDN: Retry-After
• MDN: 429 Too Many Requests
• Express 5
• Agenda
• p-limit