ผลลัพธ์ที่ไม่ดีหน้าตาเป็นอย่างไร + Hallucination
Why this matters
ความเสี่ยงที่อันตรายที่สุดของ AI ไม่ใช่การตอบไม่ได้ แต่คือการ สร้างคำตอบที่ดูมั่นใจแต่ผิด — อาการนี้เรียกว่า Hallucination และเป็นสิ่งที่คนทำงาน QA ต้องจับให้ได้เหมือนจับ defect
Hallucination คืออะไร และทำไมถึงเกิด
Hallucination คือการที่ AI สร้างข้อมูลที่ไม่มีอยู่จริงขึ้นมา — ตัวเลข ชื่อเอกสาร มาตรฐาน หรือเหตุการณ์ — แล้วนำเสนอราวกับเป็นข้อเท็จจริง
สาเหตุพื้นฐาน: โมเดล เดาคำตอบจาก pattern ที่เรียนรู้มา ไม่ได้ค้นความจริงจากฐานข้อมูล เมื่อถูกถามสิ่งที่ไม่รู้ มันไม่ได้ “รู้ตัวว่าไม่รู้” แต่จะประกอบคำตอบที่หน้าตาน่าจะใช่ขึ้นมาแทน
สัญญาณเตือนที่ควรระวัง
- ตัวเลข ค่ามาตรฐาน หรือเลขที่เอกสารที่ระบุเป๊ะเกินจริง ทั้งที่เราไม่ได้ให้ข้อมูลนั้นไป เช่น “ตาม spec ABC-001 Rev.C ข้อ 4.2.1 ค่า coating ต้องอยู่ที่ 12–15 µm”
- อ้างแหล่งข้อมูลที่ไม่มีอยู่จริง — ชื่อมาตรฐาน เอกสาร หรือ link ที่ตรวจแล้วไม่พบ
- คำตอบที่ มั่นใจเต็มร้อยกับคำถามที่ข้อมูลไม่พอจะตอบได้
- รายละเอียดที่ เปลี่ยนไปเมื่อถามซ้ำ คำถามเดิม
วิธีรับมือ
- ให้หลักฐานประกอบไปกับคำถาม — แนบเอกสารหรือข้อมูลจริง แล้วสั่งให้ตอบจากสิ่งที่แนบเท่านั้น
- ขอ source ทุกครั้ง — ให้ AI ระบุว่าคำตอบแต่ละส่วนมาจากตรงไหน
- Cross-check กับเอกสารจริง — ตัวเลขและข้อกำหนดทุกตัวต้องเทียบกับ specification หรือระบบจริงก่อนใช้
- ตั้งกติกา “ไม่รู้ให้บอกว่าไม่รู้” — ระบุใน prompt ว่าถ้าข้อมูลไม่พอ ให้ตอบว่าไม่พอ ห้ามเดา
- Human approval ก่อนใช้จริง — ทุกสิ่งที่จะถึงลูกค้าหรือใช้ตัดสินใจ ต้องผ่านคนตรวจเสมอ
What a BA needs to know
หลักการนี้สรุปเป็นภาพได้: ระบบตอบคำถามที่ดีในองค์กร ไม่ควร เป็นแบบนี้
Question → LLM → Answer
แต่ควรพยายามเป็น:
Question
↓
Find trusted company information
↓
Provide relevant context
↓
LLM
↓
Answer + Evidence + Source
คือให้ระบบไปหาข้อมูลจริงขององค์กรมาก่อน แล้วให้ AI ตอบจากข้อมูลนั้นพร้อมแนบหลักฐาน — ใน Stage 5 เราจะได้รู้จักเทคโนโลยีที่ทำแบบนี้ได้จริง