ชุด Test ของเราค่อย ๆ เพิ่มขึ้น และทุกครั้งที่ AI รายงานผล ตัวเลขก็บอกว่า PASS 100% แต่พอผมลงมือ Manual Test เอง ผมก็เจอปัญหาทุกครั้ง
ตัวเลขไม่ได้โกหก—Test ที่มีอยู่ผ่านจริง แต่ยังไม่พอจะบอกว่าสิ่งที่ผมกับ AI ทำไว้จะผ่านเส้นทางที่คนใช้เจอจริงหรือเปล่า
ตัวเลขที่สวยขึ้นเรื่อย ๆ
หลังจากงานเดินมาถึงช่วงนี้ จำนวน Test เพิ่มขึ้นตามสิ่งที่ผมกับ AI กำลังทำ ผลที่ AI รายงานบอกว่า Test ทั้งหมดผ่าน—PASS 100% ฟังดูเป็นคำตอบที่ชวนให้เดินหน้าต่อได้
ผมเองก็ไม่ได้อยากลดคุณค่าของ Test เหล่านั้น มันช่วยตรวจสิ่งที่เขียนไว้ให้ตรวจได้ แต่ผมยังมีอีกวิธีหนึ่งที่ต้องทำควบคู่กัน: เปิดระบบแล้วลองเดินเส้นทางด้วยตัวเอง
พอผมลองเอง ปัญหาก็โผล่ขึ้นมาอีก
เมื่อผมทำ Manual Test ปัญหาก็ปรากฏขึ้นทุกครั้ง บางอย่างที่ชุด Test เดิมไม่ได้จับได้ กลายเป็นสิ่งที่เห็นได้เมื่อเดินตามการใช้งานจริง ผมจึงต้องย้อนกลับไปดูผลที่ AI ทำ แก้ แล้วลองใหม่
วงจรจึงไม่ได้จบที่ AI เขียนงานและ Test ผ่าน แต่เดินต่อเป็น AI ทำ → Test ผ่าน → ผมลองเอง → พบปัญหา → กลับไปแก้และตรวจใหม่ จำนวน Test ที่เพิ่มขึ้นเป็นส่วนหนึ่งของการเรียนรู้ แต่การลองด้วยตัวเองทำให้เห็นว่าทางเดินยังมีจุดที่เราไม่ได้ตรวจให้เจอ
ช่วง Release นี้งานที่ตรวจมีหลายด้าน ตั้งแต่สิ่งที่ระบบทำหลังบันทึกข้อมูล ไปจนถึงการทดสอบเส้นทางที่มีข้อมูลหลายชิ้น การทบทวนและแก้ไขจึงเกิดซ้ำหลายรอบ หลักฐาน Release บันทึกทั้งการตรวจ E2E และข้อแก้ไขจากการทดสอบจริง ส่วนภาพจำว่า Manual Test ของผมเจอปัญหาทุกครั้ง มาจากสิ่งที่ผมจำได้เอง
PASS 100% บอกได้แค่สิ่งที่เราเลือกตรวจ
เมื่อเจอปัญหาหลัง Test ผ่าน ผมไม่ได้สรุปว่า Test ไม่มีประโยชน์ หรือ AI ทำงานไม่ได้ สิ่งที่ผมเห็นคือผลผ่าน 100% ยืนยันได้เฉพาะขอบเขตของ Test ชุดนั้น ส่วนการลองด้วยตัวเองช่วยเปิดเผยอีกด้านของการใช้งานที่ยังต้องกลับไปดู
ผมกับ AI จึงต้องเรียนรู้วิธีใช้หลักฐานทั้งสองแบบประกอบกัน: ให้ Test ตรวจสิ่งที่กำหนดไว้ และให้ Manual Test ตรวจว่าทางที่ผมคาดหวังยังเดินได้จริงหรือไม่ สิ่งหนึ่งแทนอีกสิ่งหนึ่งไม่ได้
ประสบการณ์ช่วงนี้เปลี่ยนความหมายของคำว่า “ผ่าน” สำหรับผม อย่างน้อยมันทำให้ผมรู้ว่ารายงานสีเขียวกับการยอมรับของผมเป็นคนละจุดตรวจ และถ้าผมอยากเชื่อผลที่ AI สรุป ผมก็ต้องลองดูด้วยว่ามันครอบคลุมสิ่งที่ผมตั้งใจใช้งานจริงหรือยัง
หลังจากนี้ งานจะยิ่งซับซ้อนขึ้น มีข้อมูลหลายชิ้นและการเปลี่ยนฐานการทำงานที่ต้องรักษาพฤติกรรมเดิมไว้ เราจึงต้องหาวิธีตรวจให้ดีขึ้นไปพร้อมกับการทำงานต่อ