Gradient Boosting คืออะไร? การเรียนรู้แบบบูสติงและ XGBoost อธิบายง่าย ๆ

Updated · By Viviai

Gradient Boosting (การเรียนรู้แบบเกรดิเอนต์บูสติง) เป็นเทคนิคการเรียนรู้แบบทีม (ensemble) ที่สร้างตัวแบบทีละตัวตามลำดับ โดยตัวแบบใหม่จะเน้นแก้ไขข้อผิดพลาดของตัวแบบก่อนหน้า จนกว่าความแม่นยำจะดีขึ้นตามเป้าหมาย นิยมใช้กับงานที่มีตารางข้อมูล เช่น การจำแนกและการพยากรณ์ค่า และมีเครื่องมือยอดนิยมอย่าง XGBoost ที่พัฒนาบนแนวคิดนี้

คำตอบสั้น ๆ: บูสติงทำงานอย่างไร

แนวคิดหลักคือการรวม ตัวเรียนรู้ที่อ่อนแอ (weak learner) หลายตัว ซึ่งมักเป็นต้นไม้การตัดสินใจขนาดเล็ก ให้กลายเป็นตัวแบบที่แข็งแกร่งขึ้น โดยตัวแบบจะถูกสร้างต่อกันเป็นขั้นตอน ไม่ใช่แยกกันแบบขนาน

  1. เริ่มจากตัวแบบตัวแรกที่ทำนายแบบง่าย ๆ
  2. หาค่าคลาดเคลื่อน (residual) ที่ตัวแบบก่อนหน้าทำนายผิด
  3. สร้างตัวแบบถัดไปให้เรียนรู้จากข้อผิดพลาดนั้น
  4. รวมผลของทุกตัวเข้าด้วยกัน แล้วทำซ้ำจนกว่าจะได้จำนวนตัวแบบตามที่กำหนดหรือข้อผิดพลาดลดลง

ส่วนประกอบหลัก

ความแตกต่างระหว่างบูสติงกับแบ็กกิง

ทั้งสองเป็นการเรียนรู้แบบทีม แต่จัดการตัวแบบต่างกัน

ลักษณะ บูสติง (Boosting) แบ็กกิง (Bagging)
ลำดับการสร้าง ต่อกันเป็นขั้นตอน ตัวใหม่แก้ตัวเก่า แต่ละตัวสร้างแยกกันแบบขนาน
น้ำหนักข้อมูล ปรับตามความยากของจุดที่ผิด สุ่มตัวอย่างใหม่เท่า ๆ กัน
จุดเด่น ลดข้อผิดพลาดเชิงระบบ ลดความแปรปรวน ลดโอเวอร์ฟิต
ตัวอย่างอัลกอริทึม Gradient Boosting, AdaBoost Random Forest

หากต้องการดูภาพรวมการเรียนรู้แบบมีผู้สอนและตัวแบบที่เกี่ยวข้อง สามารถอ่านเพิ่มเกี่ยวกับต้นไม้การตัดสินใจ เบย์แบบไร้เดียงสา และการเรียนรู้แบบมีผู้สอน

AdaBoost กับ Gradient Boosting

Gradient Boosting จึงคล้ายกับ AdaBoost ตรงที่ฝึกตามลำดับ แต่ต่างกันที่วิธีกำหนดเป้าหมายให้ตัวแบบถัดไป

XGBoost คืออะไร

XGBoost (Extreme Gradient Boosting) เป็นไลบรารีที่เพิ่มประสิทธิภาพของ Gradient Boosting ทั้งด้านความเร็วและขนาดการคำนวณ จุดเด่นที่สำคัญ ได้แก่

ด้วยเหตุนี้ XGBoost จึงมักถูกเลือกใช้ในงานแข่งขันวิทยาศาสตร์ข้อมูลและงานจริงที่ใช้ตารางข้อมูล

จุดแข็งและข้อควรระวัง

จุดแข็ง

ข้อควรระวัง

คำถามที่พบบ่อย

บูสติงต่างจากแรนดอมฟอเรสต์อย่างไร?

บูสติงสร้างตัวแบบต่อกันเป็นขั้นตอนโดยให้ตัวใหม่แก้ข้อผิดพลาดของตัวเก่า ส่วนแรนดอมฟอเรสต์สร้างต้นไม้หลายต้นแยกกันแล้วใช้การโหวตหรือค่าเฉลี่ย ซึ่งเป็นแนวทางแบบแบ็กกิง

เหตุใดตัวแบบใหม่ต้องสนใจข้อผิดพลาดเดิม?

เพราะจุดที่ตัวแบบก่อนหน้าทำนายผิดคือส่วนที่ยังขาดความรู้ การเติมตัวแบบใหม่เพื่อเน้นจุดเหล่านี้จะช่วยลดข้อผิดพลาดรวมทีละน้อยในทุกรอบ

XGBoost เหมาะกับงานแบบใด?

เหมาะกับงานที่ใช้ข้อมูลตารางทั้งการจำแนกและการพยากรณ์ เช่น การให้คะแนนความเสี่ยง การคาดการณ์ยอด และการจัดระดับข้อมูล

ควรตั้งจำนวนตัวแบบเท่าใด?

ไม่มีค่าตายตัว ควรทดสอบหลายค่าร่วมกับอัตราการเรียนรู้ และใช้ชุดข้อมูลตรวจสอบเพื่อดูว่าจุดไหนข้อผิดพลาดหยุดลดลงก่อนเริ่มโอเวอร์ฟิต

หมายเหตุของบรรณาธิการ

บทความนี้ผ่านการตรวจสอบข้ามแหล่งแล้ว โดยมีแหล่งข้อมูลอิสระสองแหล่งจากผู้เผยแพร่ต่างกัน (แหล่งภาษาไทยเดิมและ IBM Think) จึงผ่านเกณฑ์สองแหล่งอิสระ แต่ยังรอการตรวจทานจากเจ้าของภาษาก่อนเลื่อนสถานะเป็นทางการ

สรุป

Gradient Boosting สร้างตัวแบบทีละตัวตามลำดับ โดยให้ตัวใหม่เรียนรู้และแก้ไขข้อผิดพลาดของตัวก่อนหน้าจนกว่าผลลัพธ์จะดีขึ้น XGBoost เป็นเครื่องมือเพิ่มประสิทธิภาพที่ใช้แนวคิดนี้และรองรับข้อมูลขนาดใหญ่ สิ่งสำคัญคือการควบคุมจำนวนตัวแบบและพารามิเตอร์เพื่อไม่ให้เกิดการโอเวอร์ฟิต

Sources

  1. https://aws.amazon.com/th/what-is/boosting/
  2. https://www.ibm.com/think/topics/gradient-boosting

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free