องค์ที่ 2 · ตอนที่ 08

แอบหนีบแฟ้มเอกสาร: Knowledge และ RAG (น้ำในมหาสมุทร กับ น้ำในแก้ว)

แอบหนีบแฟ้มเอกสาร: Knowledge และ RAG (น้ำในมหาสมุทร กับ น้ำในแก้ว)

จากตอนที่แล้ว เราได้รู้จักกับ "สมุดจดข้ามวัน" (Memory Management) ไปแล้วว่า มันทำหน้าที่คอยบันทึกข้อมูลส่วนตัวสั้น ๆ ของเรา เช่น ความชอบ สไตล์การทำงาน หรือข้อตกลงในการคุย เพื่อให้ระบบแอบหยิบมาแปะเป็นหัวกระดาษในห้องแชตใหม่ ทำให้ AI ตอบเราได้แบบรู้ใจข้ามวัน

แต่พอเราก้าวเข้าสู่โลกของการทำงานจริง... สิ่งที่เราต้องเผชิญหน้า ไม่ได้มีแค่ข้อมูลสั้น ๆ 2-3 บรรทัดเกี่ยวกับตัวเราน่ะสิครับ!

ลองจินตนาการถึงโจทย์จริงในองค์กรดูนะครับ:

  • บริษัทเรามี “คู่มือพนักงานและระเบียบสวัสดิการหนา 300 หน้า”
  • มี “เอกสารสเปกทางเทคนิคของระบบซอฟต์แวร์ 500 หน้า”
  • หรือมี “ประมวลระเบียบราชการและข้อกฎหมายหนาเป็นพัน ๆ หน้า”

แล้วหัวหน้าหรือลูกค้าเดินมาสั่งเราว่า:

“อยากทำระบบ AI ให้พนักงานหรือลูกค้า พิมพ์ถาม-ตอบเรื่องพวกนี้ได้ตลอด 24 ชั่วโมง โดยต้องตอบให้ตรงตามคู่มือเป๊ะ ๆ ห้ามตอบมั่วเด็ดขาด!”

คำถามคือ... เราจะทำอย่างไรดี?

  • จะเอาเอกสาร 500 หน้าพวกนี้ ไปยัดลงในห้องแชตทุกรอบ? → โต๊ะทำงาน (Context Window) พังทันที! เปลืองค่าบริการมหาศาล และโมเดลจะเริ่มเอ๋อหาของกลางโต๊ะไม่เจอ
  • จะเอาไปยัดไว้ในสมุดจดโปรไฟล์ (Memory)? → ไม่ได้เด็ดขาด! เพราะ Memory มีไว้จดเรื่องส่วนบุคคล ไม่ใช่ตู้เก็บเอกสารบริษัท

แล้วถ้ามีเซลส์หรือที่ปรึกษาเดินมาบอกเราว่า: “งั้นบริษัทคุณต้องเอา AI ไปเทรนใหม่ (Train/Fine-tune Model) ให้มันกลืนคู่มือเล่มนี้เข้าไปในสมองสิครับ จ่ายแค่ไม่กี่แสนเอง!” ...เราควรเชื่อเขาไหม?

วันนี้ ผมมีโมเดลทางความคิดที่เรียบง่ายที่สุด ที่จะช่วยให้ทุกคนตาสว่าง และประหยัดเงินในกระเป๋าได้เป็นล้านมาเล่าให้ฟังครับ!

1. โมเดลความคิด: "น้ำในมหาสมุทร กับ น้ำในแก้ว"

ตอนที่ผมเริ่มทำความเข้าใจเรื่องนี้ ผมได้ตกผลึกภาพเปรียบเทียบภาพหนึ่งขึ้นมาในใจ ซึ่งผมใช้เป็นหลักยึดในการออกแบบระบบมาโดยตลอด:

“ข้อมูลที่บริษัทยักษ์ใหญ่เขาใช้เทรนโมเดล AI มาทั้งโลก... มันกว้างใหญ่ไพศาลเหมือน ‘น้ำในมหาสมุทร’
ในขณะที่ข้อมูลคู่มือบริษัท หรือระเบียบการทำงานที่เราอยากให้มันรู้... มันเป็นแค่ ‘น้ำในแก้ว’ เท่านั้นครับ!”

ลองมองภาพตามความเป็นจริงดูนะครับ:

  • น้ำในมหาสมุทร: คือสิ่งที่โมเดลมีอยู่แล้วในตัว มันอ่านภาษาคนมาทั้งโลก มันรู้ไวยากรณ์ มันเข้าใจตรรกะ และมีความรู้รอบตัวมหาศาล
  • น้ำในแก้ว: คือระเบียบบริษัทของเรา นโยบายสวัสดิการ หรือสเปกงานช่าง ซึ่งเป็นข้อมูลเฉพาะกลุ่มที่คนนอกไม่รู้

แล้วลองคิดดูสิครับว่า... ใครจะบ้าไปลงทุนสร้าง "มหาสมุทรแห่งใหม่" เพื่อแค่จะเอาน้ำในแก้วใบนี้ไปหยดใส่ลงไป?

  1. ค่าใช้จ่ายมหาศาล: การเทรนโมเดลใหม่หรือดัดแปลงสมองกล ต้องใช้คอมพิวเตอร์ราคาแพงและค่าไฟมหาศาล
  2. พอเอกสารเปลี่ยน ทุกอย่างพังทันที: ถ้าพรุ่งนี้ฝ่ายบุคคลประกาศเปลี่ยนระเบียบการเบิกค่ารักษาพยาบาลใหม่ 1 บรรทัด... โมเดลที่คุณเพิ่งเสียเงินเทรนไปเมื่อวาน ก็กลายเป็นของล้าสมัยทันที จะต้องเสียเงินเทรนใหม่อีกรอบหรือ?

ทางออกของคนทำระบบที่ฉลาดและประหยัดที่สุด จึงไม่ใช่การสร้างมหาสมุทรใหม่ครับ... แต่คือการ "ยกน้ำในแก้วไปตั้งไว้บนโต๊ะ" ให้โมเดลอ่านในรอบนั้นต่างหาก!

2. ทำความรู้จัก RAG: "แอบเปิดตู้เอกสาร แล้วตัดหน้าที่เกี่ยวข้องส่งไป"

และนี่คือที่มาของคำศัพท์ยอดฮิตที่สุดของยุคนี้ นั่นคือ RAG (อ่านว่า แร็ก) ซึ่งย่อมาจากชื่อภาษาอังกฤษยาวเหยียดว่า Retrieval-Augmented Generation

ไม่ต้องไปจำภาษาอังกฤษให้ปวดหัวครับ ให้จำภาพการทำงาน 3 สเต็ปง่าย ๆ นี้ก็พอ:

แผนภาพประกอบ chapter 08 diagram 01
แผนภาพประกอบเรื่อง

เห็นภาพไหมครับ? RAG มันก็คือ "การสอบแบบเปิดตำรา" (Open Book Exam) ดี ๆ นี่เองครับ!

แทนที่เราจะปล่อยให้โมเดลนั่งนึกคำตอบจากความทรงจำดิบในสมอง (ซึ่งเสี่ยงต่อการเกิด ภาพหลอน หรือ Hallucination นั่งเทียนตอบมั่ว) ระบบของเรากลับใช้วิธี "แอบตัดเฉพาะหน้าที่ถูกต้องจากตู้เอกสาร แล้วยื่นให้โมเดลอ่านกางตอบต่อหน้าต่อตา"

  • ช่วยเพิ่มความแม่นยำและลดโอกาสตอบผิด เมื่อค้นพบเอกสารที่ถูกต้อง
  • ประหยัดโต๊ะทำงาน เพราะเราไม่ได้ส่งไปทั้ง 500 หน้า เราส่งไปแค่ 1-2 ย่อหน้าที่ตรงเรื่อง
  • และถ้าวันรุ่งขึ้นระเบียบบริษัทเปลี่ยน เราก็แค่แก้เอกสารในตู้... โดยไม่ต้องเสียเงินแตะต้องตัวโมเดลเลยแม้แต่บาทเดียว!

3. แล้ว "Vector Search" กับ "Vector DB" ล่ะ... คนใช้ปกติต้องรู้จักไหม?

พอพูดถึงเรื่อง RAG สิ่งต่อมาที่คนมักจะได้ยินเซลส์หรือกูรูไอทีหยิบมาพูดข่มกันบ่อย ๆ ก็คือคำว่า: “ระบบของเราใช้ Vector Search และจัดเก็บข้อมูลใน Vector Database ระดับล้ำสมัย!”

หลายคนพอได้ยินคำว่า "เวกเตอร์" ก็เริ่มเวียนหัว นึกถึงวิชาคณิตศาสตร์ ม.ปลาย แล้วกังวลว่า: “โอ้โห... คนใช้งานอย่างเราต้องไปเปิดตำราเรียนเรื่องเวกเตอร์ไหมเนี่ย?”

ผมขอตอบจากใจคนทำระบบให้ทุกคนสบายใจตรงนี้เลยครับ:

“คนใช้งานทั่วไป รวมถึงคนทำระบบส่วนใหญ่...
ไม่จำเป็นต้องไปรู้จักไส้ในของ Vector Search หรือ Vector DB เลยแม้แต่น้อยครับ! 5555”

แม้แต่ตัวผมเอง ตอนที่เริ่มสร้างระบบแรก ๆ น้องโปรแกรมเมอร์ในทีมเดินมาบอกผมว่า: “พี่ครับ ผมทำระบบ Vector DB สำหรับค้นเอกสารเสร็จเรียบร้อยแล้วนะ” ในตอนนั้นผมก็ยังไม่ได้มีความรู้เรื่อง AI ลึกซึ้งอะไรมากมาย ผมก็บอกน้องเขาว่า: “เออ ดีแล้วน้อง ทำตามแนวทางของน้องไปเลย” แล้วหลังจากนั้น... ผมก็ไม่เคยกลับไปดูหรือยุ่งกับ Vector DB ตัวนั้นอีกเลยครับ! 5555

ถอดรหัสให้ฟังแบบง่ายที่สุดใน 1 นาที: มันคืออะไรกันแน่?

ถ้าใครอยากรู้ว่ามันทำหน้าที่อะไร ให้คิดภาพตามนี้ครับ:

  • ในตู้เอกสารที่มีกระดาษเป็นหมื่น ๆ หน้า เราจะรู้ได้อย่างไรว่าข้อความหน้าที่เราต้องการ มันซ่อนอยู่ตรงไหน?
  • ถ้าเราค้นหาแบบ Google ยุคเก่าที่เรียกว่า Keyword Search (ค้นตามคำสะกด): เราต้องพิมพ์คำให้ตรงเป๊ะกับเอกสาร ถ้าในระเบียบเขียนว่า "ค่าเช่าที่พักระหว่างเดินทางไปปฏิบัติงาน" แต่เราดันไปพิมพ์ค้นหาว่า "ค่าที่พัก"... ระบบที่ค้นเฉพาะวลีตรงตัวอาจหาไม่เจอ เพราะตัวสะกดไม่ตรงกันทุกคำ
  • คนทำระบบเขาเลยคิดค้นเครื่องมือค้นหาแบบใหม่ขึ้นมา เรียกว่า Vector Search: มันทำหน้าที่เหมือน "บรรณารักษ์อัจฉริยะที่เข้าใจความหมาย" มันจะแปลงข้อความในกระดาษทุกแผ่นให้เป็น "พิกัดความหมาย" ทำให้เวลาเราพิมพ์ว่า "ค่าที่พัก" มันมองทะลุตัวสะกด แล้วรู้ทันทีว่า "อ๋อ ความหมายมันตรงกับคำว่าค่าเช่าที่พักระหว่างเดินทางไปปฏิบัติงานในหน้า 42 นะ" แล้ววิ่งไปหยิบหน้านั้นมาให้เราได้อย่างแม่นยำครับ!

ส่วนคำว่า Vector Database (ฐานข้อมูลเวกเตอร์)... มันก็เป็นแค่ "ตู้ลิ้นชักสำหรับเก็บบรรดาพิกัดความหมายเหล่านั้น" แค่นั้นเองครับ! คนใช้งานอย่างเรา รู้แค่นี้ก็คุยกับเขารู้เรื่องทั้งวงการแล้วครับ ไม่ต้องไปเปิดสมการคำนวณคณิตศาสตร์ให้ปวดหัวเลย!

⚖️ แล้วถ้าถามคนทำระบบจริง ๆ: Vector Search "จำเป็น" แค่ไหน?

ถ้าถามผมตรง ๆ ในฐานะคนทำระบบ ว่าเจ้าระบบ Vector Search และ Vector Database นี้มันจำเป็นต้องมีจริง ๆ ไหม?

คำตอบของผมคือ: “อย่าเพิ่งติดกับดักว่าต้องมีหรือห้ามมี... แต่ให้เลือกตามความต้องการค้นหาและข้อจำกัดจริงของงานครับ!”

  • เลือกใช้เมื่อคำถามกับเอกสารใช้คนละภาษา (Semantic Need): หัวใจแท้จริงของ Vector Search ไม่ใช่เรื่องขนาดระบบ แต่คือ "การค้นหาด้วยความหมาย" ต่อให้เป็นระบบเล็ก ๆ หรือมีเอกสารไม่กี่สิบหน้า ถ้าคนถามชอบถามด้วยภาษาพูดที่ไม่ตรงกับศัพท์ทางการในเอกสาร การมี Vector Search ก็จะช่วยหาเจอได้ดีกว่า Keyword ธรรมดาอย่างเห็นได้ชัด
  • ระบบใหญ่ระดับ Production ก็ไม่จำเป็นต้องใช้เสมอไป (Anti-Overengineering): หลายคนคิดว่าพอเป็นระบบ Production ขนาดใหญ่ จะต้องรีบไปซื้อหรือติดตั้ง Vector Database ทันที ซึ่งไม่จริงเลยครับ! ถ้าระบบของคุณค้นหาตามรหัสสินค้า ชื่อหมวดหมู่ หรือคำค้นที่ตรงไปตรงมา การใช้ฐานข้อมูลทั่วไปที่มีอยู่ หรือใช้ Full-Text Search แบบดั้งเดิม อาจทำงานได้เร็วกว่า ดูแลง่ายกว่า และประหยัดต้นทุนกว่ามหาศาล
  • งานแบบรอบเดียวจบ (One-off / Single-run Task): ถ้าคุณทำงานเฉพาะกิจ วิเคราะห์ข้อมูลชั่วคราว หรือรันงานสคริปต์รอบเดียวจบ... การต้องมานั่งแปลงเวกเตอร์ เซ็ตอัปฐานข้อมูล และดูแลรักษามัน มักจะกลายเป็นความซับซ้อนเกินจำเป็น (Over-engineering) โดยใช่เหตุครับ เพราะการค้นหาข้อความแบบเรียบง่าย หรือการโยนเอกสารทั้งก้อนเข้า Context Window ใหญ่ ๆ ของโมเดลยุคนี้ ก็ทำงานสำเร็จได้ดีเหมือนกันครับ

💡 บทขยายสำหรับคนที่อยากรู้ลึก (Optional Deep Dive)

(สำหรับใครที่ไม่ได้จะไปเขียนโค้ดทำระบบค้นหาเอง สามารถข้ามส่วนนี้ไปได้เลยนะครับ! แต่ถ้าใครสงสัยว่าเบื้องหลังเวกเตอร์มันทำงานอย่างไร ผมสรุปให้ฟังแบบกระชับ 3 บรรทัดครับ)

  • Embeddings (เอ็มเบดดิงส์): คือกระบวนการเอาข้อความภาษาคน โยนเข้าโมเดลพิเศษเพื่อแปลงออกมาเป็น "ชุดตัวเลขพิกัด" (เช่น [0.24, -0.81, 0.55...]) เพื่อใช้บอกตำแหน่งความหมายของคำนั้นในแผนที่ภาษา
  • Vector Search (การค้นหาเชิงเวกเตอร์): คือการเอาพิกัดของคำถาม ไปคำนวณวัดระยะห่างบนแผนที่ (Cosine Similarity) เพื่อหาว่าพิกัดของเอกสารท่อนไหน ลอยอยู่ใกล้กับพิกัดของคำถามมากที่สุด ยิ่งอยู่ใกล้กัน แปลว่าความหมายยิ่งตรงกัน
  • Vector Database: คือซอฟต์แวร์ฐานข้อมูลที่ถูกปรับแต่งมาเป็นพิเศษ ให้สามารถค้นหาพิกัดตัวเลขที่อยู่ใกล้กันที่สุดจากเอกสารนับล้านชิ้น ได้ภายในเสี้ยววินาที

ปริศนาใหญ่ส่งท้าย: แล้ว "ใคร" เป็นคนคอยสั่งการทั้งหมดนี้?

เมื่ออ่านมาถึงตรงนี้... พวกเราได้เห็นชิ้นส่วนสำคัญบนโต๊ะทำงานเกือบครบทุกชิ้นแล้วครับ:

  1. เรารู้จัก Context (เอกสารและประวัติที่วางอยู่บนโต๊ะในห้องแชต)
  2. เรารู้จัก Memory (สมุดจดโปรไฟล์ส่วนตัวนอกห้องแชต)
  3. และเรารู้จัก RAG (การแอบเปิดตู้เอกสารแล้วตัดหน้าที่เกี่ยวข้องมาวางบนโต๊ะ)

แต่ผมอยากให้ทุกคนหยุดคิด และมองภาพรวมทั้งระบบไปพร้อมกับผมสักครู่ครับ:

“ในเมื่อตัวสมองกล (Model) มันเป็นแค่คนขี้ลืม (Stateless) ที่นั่งรออ่านกระดาษอยู่เฉย ๆ...
ใครเป็นคนสั่งให้วิ่งไปค้นตู้เอกสาร RAG?
ใครเป็นคนวิ่งไปเปิดสมุดจด Memory ประจำตัวเรา?
ใครเป็นคนเอาข้อมูลทั้งหมดมารวมร่างจัดโต๊ะให้โมเดลอ่าน?
และใครเป็นคนคอยตั้งรั้วกั้นความปลอดภัย ไม่ให้โมเดลตอบเรื่องต้องห้าม?”

ทั้งหมดนี้... ไม่ใช่หน้าที่ของโมเดลเลยแม้แต่อย่างเดียวครับ! แต่มันคือหน้าที่ของ "ผู้กำกับหลังม่านตัวจริง" ที่คอยควบคุมโครงรถ คอยใส่บังเหียน และคอยพยุงชีพให้ระบบ AI ทั้งหมดทำงานร่วมกันได้

เตรียมตัวพบกับหัวใจสำคัญที่สุดของวิศวกรรมซอฟต์แวร์ AI ได้ใน ตอนที่ 09: ผู้กำกับหลังม่านตัวจริง: ทำความรู้จัก "Harness" ครับ!

ศัพท์เทคนิค → คำแปลภาษาคนทำงาน — แตะเพื่อย่อ/ขยาย
  • Knowledge Base (คลังความรู้): แฟ้มเอกสาร คู่มือ หรือฐานข้อมูลความรู้เฉพาะขององค์กร ที่เตรียมไว้สำหรับให้ระบบค้นหา
  • RAG (Retrieval-Augmented Generation): สถาปัตยกรรมที่ระบบจะวิ่งไป "ค้นหาเอกสารที่เกี่ยวข้อง (Retrieval)" นำมา "แนบเสริมเข้ากับบริบท (Augmented)" แล้วส่งให้โมเดล "สร้างคำตอบ (Generation)" เหมือนการสอบแบบเปิดตำรา
  • Embeddings & Vector Search (ความหมายแบบคนทำงาน): เครื่องมือค้นหาอัจฉริยะที่เข้าใจความหมายของภาษา ช่วยให้ค้นหาเอกสารที่ตรงเรื่องได้ แม้ผู้ใช้จะพิมพ์คำสะกดไม่ตรงกับเอกสาร
  • Vector Database: ตู้จัดเก็บและค้นหาพิกัดความหมายสำหรับระบบ RAG
หลักคิดเชิงสถาปัตยกรรม — แตะเพื่อย่อ/ขยาย
  • น้ำในมหาสมุทร กับ น้ำในแก้ว: อย่าเสียเงินมหาศาลไปเทรนโมเดลใหม่เพื่อใส่ข้อมูลบริษัท เพราะข้อมูลโลกเปรียบเสมือนน้ำในมหาสมุทรที่โมเดลมีอยู่แล้ว แต่ข้อมูลเฉพาะของเราคือน้ำในแก้ว แค่ใช้ RAG แนบน้ำในแก้วส่งไปพร้อม Prompt ก็พอแล้ว
  • RAG ช่วยลดภาพหลอนและอัปเดตง่ายที่สุด: การมีเอกสารจริงกางให้อ่านช่วยเพิ่มความแม่นยำและลดโอกาสตอบผิด (แม้จะไม่ได้รับประกันถูกต้อง 100% ก็ตาม) และเมื่อระเบียบเปลี่ยน แค่แก้ไฟล์ในคลังเอกสาร ไม่ต้องแตะต้องโมเดลเลย
  • คนใช้งานไม่จำเป็นต้องรู้ไส้ในของ Vector: มองเป็นแค่บรรณารักษ์ช่วยหาเอกสารให้ตรงความหมาย สิ่งสำคัญที่สุดคือคุณภาพของเอกสารต้นทางที่เราเตรียมไว้ครับ
  • เลือกเครื่องมือค้นหาตามความต้องการจริง ไม่ทำ Over-engineering: Vector Search มีประโยชน์เมื่อต้องการค้นหาด้วยความหมายที่คำสะกดไม่ตรงกัน แต่ระบบใหญ่ก็ไม่จำเป็นต้องใช้ Vector DB เสมอไปถ้า Keyword หรือฐานข้อมูลเดิมตอบโจทย์ และสำหรับงานรอบเดียวจบ การค้นหาแบบเรียบง่ายหรือส่งเข้า Context Window ก็เพียงพอโดยไม่ต้องเพิ่มความซับซ้อนของระบบ