สรุปเหตุการณ์

ช่วงเช้าวันที่ 27 กรกฎาคม เวลาประมาณ 09:13 น. ผู้ใช้บางส่วนไม่สามารถเข้าถึงเว็บไซต์และบริการออนไลน์ของ What City ได้ หรือเข้าได้ไม่เสถียร อาการเกิดขึ้นเป็นช่วง ๆ จนถึงเวลาประมาณ 09:40 น. จึงกลับมาใช้งานได้ตามปกติ ทีมงานได้ตรวจสอบต่อเนื่องจนพบสาเหตุที่แท้จริงและดำเนินการแก้ไขถาวรแล้วเสร็จในเวลาประมาณ 10:30 น.

บริการที่ได้รับผลกระทบ
เว็บไซต์หลักและหน้าแดชบอร์ด
ระบบร้านค้า (Shop)
Web API ที่เกี่ยวข้อง
FiveM Connect Proxy
Phone Service
ไทม์ไลน์ (เวลาประเทศไทย)
09:13 — ระบบตรวจสอบพบว่าการเข้าถึงเว็บผ่าน Load Balancer เริ่มขัดข้อง ผู้ใช้บางส่วนเข้าเว็บไม่ได้
09:13 – 09:40 — อาการเกิดขึ้นเป็นช่วง ๆ (เข้าได้สลับกับเข้าไม่ได้) ทีมงานเริ่มตรวจสอบระบบ
09:40 — บริการกลับมาใช้งานได้ตามปกติ ทีมงานยังคงเฝ้าระวังและตรวจสอบหาสาเหตุต่อ
10:20 — ตรวจพบสาเหตุที่แท้จริง: มีการตอบสนองซ้ำซ้อนในระดับเครือข่าย (ARP) สำหรับ IP ของ Load Balancer
10:30 — ดำเนินการแก้ไขที่ต้นเหตุแล้วเสร็จ และยืนยันว่าระบบทำงานถูกต้อง
สาเหตุ

IP ของ Load Balancer ฝั่งเว็บ ถูกตอบรับ (ARP reply) จากช่องทางเครือข่ายสองช่องทางบนเซิร์ฟเวอร์เครื่องเดียวกัน — ช่องทางหลักที่ใช้งานจริง และช่องทางสำรองที่ยังเปิดค้างอยู่โดยไม่ได้ใช้งาน ทำให้อุปกรณ์เครือข่ายต้นทางสลับส่งทราฟฟิกไปยังช่องทางที่ไม่สามารถให้บริการได้เป็นระยะ ส่งผลให้การเชื่อมต่อหลุดหรือเข้าไม่ได้เป็นช่วง ๆ

การแก้ไข
ปิดการใช้งานช่องทางเครือข่ายสำรองที่เป็นต้นเหตุของการตอบสนองซ้ำซ้อน
ยืนยันด้วยการทดสอบระดับเครือข่ายว่า IP ของ Load Balancer ตอบสนองจากช่องทางที่ถูกต้องเพียงช่องทางเดียว
กำหนดค่าระบบประกาศ IP (Load Balancer) ให้ผูกกับช่องทางเครือข่ายที่กำหนดไว้อย่างชัดเจนเท่านั้น
มาตรการป้องกันในระยะถัดไป
ตรวจสอบเซิร์ฟเวอร์ทุกเครื่องในคลัสเตอร์ เพื่อปิดช่องทางเครือข่ายที่ไม่ได้ใช้งานในลักษณะเดียวกัน และปรับการตั้งค่าให้มีผลถาวร
เพิ่มระบบเฝ้าระวังการเข้าถึง Load Balancer จากภายนอกโดยตรง เพื่อให้ตรวจจับเหตุลักษณะนี้ได้ภายใน 1 นาที
เร่งแผนการปรับสถาปัตยกรรมเครือข่ายของ Load Balancer ไปสู่รูปแบบ BGP ซึ่งไม่พึ่งพากลไก ARP และตัดปัญหาลักษณะนี้ออกทั้งหมด

ทีมงานขออภัยในความไม่สะดวกที่เกิดขึ้น และขอบคุณทุกท่านที่รายงานปัญหาเข้ามาครับ