การทดสอบหนึ่งครั้งดูเหมือนผ่าน: บอทตอบกลับ และข้อมูลถูกบันทึก แต่เมื่อผมตามดูว่าระบบทำอะไรระหว่างทาง ร่องรอยที่ผมคิดว่ามีอยู่กลับหายไป
ผมจึงให้ AI ช่วยเทียบทางเดินใหม่กับทางเดิม แล้วพบว่า Capture path ใหม่ไม่ได้เรียกใช้ Logging ที่ผมเตรียมไว้ ตอนนั้นเราไม่ได้มีโจทย์ให้เพิ่มความสามารถอีกชิ้น แต่ต้องตอบให้ได้ก่อนว่า สิ่งที่เพิ่งเห็นว่าสำเร็จนั้นเกิดขึ้นอย่างไร
ผลลัพธ์ที่ดูดี แต่เรื่องราวระหว่างทางหายไป
ผมกำลังพา Runtime ไปทีละ Feature ตามแผน พอทดสอบ Capture ข้อมูลก็เข้าไปอยู่ในระบบ และมีข้อความตอบกลับผู้ใช้ ถ้ามองเพียงผลปลายทาง เราอาจคิดว่างานชิ้นนั้นเรียบร้อยแล้ว
แต่การทำงานของระบบไม่ได้จบลงที่สิ่งที่เห็นบนหน้าจอ ถ้ามีอะไรผิดพลาดในภายหลัง ผมต้องพอจะไล่ได้ว่าข้อความเข้ามาอย่างไร ระบบตัดสินใจอะไร และมีการเรียก AI ตรงไหนบ้าง
พอผมลองตรวจดู ก็พบความไม่ตรงกัน: ข้อมูลถูกบันทึกแล้ว แต่สมุดบันทึกที่ควรช่วยไล่ดูว่าระบบทำอะไรระหว่างทางกลับไม่มีร่องรอยใหม่ตามมา ข้อมูลที่เห็นจึงตอบได้แค่ว่างานไปถึงปลายทาง แต่ยังบอกไม่ได้ว่าระหว่างทางเกิดอะไรขึ้นบ้าง
ให้ AI ช่วยเทียบทางใหม่กับทางเดิม
ผมให้ AI ช่วยเทียบทางเดินใหม่กับทางเดิม สิ่งที่พบไม่ใช่ว่าระบบเก็บข้อมูลไม่ได้ แต่บันทึกร่องรอยที่เคยช่วยให้ตรวจการทำงานไม่ได้ตามมาด้วย
จุดนี้ทำให้คำว่า “ทำงานได้” มีความหมายไม่พอสำหรับผมแล้ว เราเห็นปลายทางหนึ่งอย่าง แต่ยังขาดหลักฐานประกอบว่าเกิดอะไรขึ้นก่อนจะไปถึงตรงนั้น
ผมจึงพักงานส่วนอื่นไว้ แล้วให้ AI ช่วยนำบันทึกร่องรอยกลับมา หลังจากนั้นเราตรวจซ้ำจนมีร่องรอยให้ตามดูได้ การตรวจรอบใหม่ทำให้ผมเห็นว่าการแก้ไม่ได้จบแค่เพิ่มบันทึกลงไป แต่ต้องดูให้แน่ใจด้วยว่าทางเดินที่เราใช้อยู่เก็บร่องรอยได้จริง
บทเรียนไม่ได้อยู่ที่การมี Log เยอะขึ้น
สิ่งที่ผมต้องการไม่ใช่การเก็บข้อมูลทุกอย่างโดยไม่มีเหตุผล แต่คือหลักฐานที่พอช่วยอธิบายได้ว่าเกิดอะไรขึ้นกับคำขอหนึ่ง เมื่อผลที่เห็นกับสิ่งที่คาดไม่ตรงกัน
ผมกับ AI จึงต้องขยับจากการสร้างทางเดินให้ทำงาน ไปสู่การตรวจว่าทางเดินนั้นยังเก็บสิ่งจำเป็นไว้ครบหรือไม่ คำตอบสำเร็จครั้งหนึ่งไม่สามารถบอกได้เองว่าระบบผ่านทุกจุดที่เราพึ่งพาอยู่
หลังตรวจและแก้เสร็จ เรากลับไปทำ Runtime ต่อได้ แต่แผนเดิมไม่เหมือนเดิมเสียทีเดียว ผมรู้เพิ่มแล้วว่าก่อนจะเรียกงานว่าเดินหน้า ผมต้องถามด้วยว่าถ้ามันไม่เป็นไปตามคาด ผมกับ AI จะตามหาคำตอบจากตรงไหน