Gradient Descent คืออะไร? ขั้นตอนวิธีปรับน้ำหนักให้ข้อผิดพลาดลดลง
Gradient Descent หรือการเคลื่อนลงตามความชัน คือขั้นตอนวิธีเพิ่มประสิทธิภาพที่ใช้หาค่าต่ำสุดของฟังก์ชัน โดยคำนวณความชัน ณ จุดที่อยู่ แล้วเคลื่อนที่ไปทิศตรงข้ามกับความชันซ้ำ ๆ จนค่าฟังก์ชันลดลงและลู่เข้าสู่จุดที่ต้องการ เป็นวิธีที่มักใช้ปรับน้ำหนักของโครงข่ายประสาทเทียม ร่วมกับแบ็กพร็อพ
ภาพรวมของแนวคิด
ลองนึกภาพคนตาบอดยืนอยู่บนเนินเขาและต้องการลงไปยังหุบเขา ที่มองไม่เห็นเส้นทาง แต่สามารถสัมผัสได้ว่าพื้นลาดไปทางไหน คนคนนั้นจะก้าวลงตามทิศที่ลาดชันที่สุด แล้วหยุดพักสัมผัสความชันใหม่ ทำซ้ำไปเรื่อย ๆ ก็จะค่อย ๆ ลงถึงจุดต่ำได้ Gradient descent ทำงานแบบเดียวกัน แต่ใช้ค่าความชันทางคณิตศาสตร์แทนการสัมผัสพื้น
ความชันบอกทิศทางที่ฟังก์ชันเพิ่มขึ้นเร็วที่สุด การเคลื่อนที่สวนทางจึงเป็นการลดค่าฟังก์ชัน
ขั้นตอนการทำงาน
- กำหนดค่าเริ่มต้นของพารามิเตอร์ อาจสุ่มหรือกำหนดเอง
- คำนวณความชันของฟังก์ชันต้นทุนเทียบกับพารามิเตอร์ ณ จุดปัจจุบัน
- ปรับพารามิเตอร์ไปทิศตรงข้ามความชันตามขนาดก้าวที่กำหนด
- ทำซ้ำจนกว่าความชันเข้าใกล้ศูนย์หรือครบจำนวนรอบที่วางไว้
การปรับแต่ละก้าวเขียนได้เป็น:
[ \theta_{\text{ใหม่}} = \theta - \alpha \frac{\partial L}{\partial \theta} ]
โดย (\alpha) คืออัตราการเรียนรู้ หรือขนาดของก้าวที่เคลื่อนที่ในแต่ละรอบ
บทบาทของอัตราการเรียนรู้
| อัตราการเรียนรู้ | ผลที่เกิดขึ้น |
|---|---|
| เล็กเกินไป | ลู่เข้าช้า ต้องใช้จำนวนรอบมาก |
| เหมาะสม | ค่อย ๆ ลดค่าฟังก์ชันอย่างมีเสถียรภาพ |
| ใหญ่เกินไป | อาจกระโดดข้ามจุดต่ำสุดและลู่ออกได้ |
อัตราการเรียนรู้ไม่ใช่ค่าคงที่ที่เหมาะกับทุกปัญหา หลายงานเริ่มจากค่าหนึ่งแล้วค่อยปรับให้เล็กลงเมื่อเข้าใกล้จุดหมาย
รูปแบบที่นิยมใช้
| รูปแบบ | ลักษณะ | ข้อสังเกต |
|---|---|---|
| Batch gradient descent | ใช้ข้อมูลทั้งหมดก่อนอัปเดตหนึ่งครั้ง | เสถียรแต่หนักเมื่อข้อมูลใหญ่ |
| Stochastic gradient descent (SGD) | อัปเดตทีละตัวอย่าง | เร็วและสุ่ม แต่เส้นทางแกว่งได้ |
| Mini-batch gradient descent | อัปเดตเป็นชุดย่อย | ทางสายกลางที่นิยมใช้ในงานจริง |
Mini-batch ช่วยสมดุลระหว่างความเสถียรของการคำนวณทั้งชุดกับความรวดเร็วของการอัปเดตถี่ ๆ แบ็กพร็อพจะช่วยคำนวณความชันให้ในแต่ละรอบ
ความท้าทายที่พบบ่อย
- ค่าต่ำสุดเฉพาะที่: ในพื้นผิวที่ซับซ้อน ขั้นตอนวิธีอาจติดหลุมที่ไม่ใช่จุดต่ำสุดของทั้งฟังก์ชัน
- พื้นที่ราบ: ความชันใกล้ศูนย์ทำให้การเคลื่อนที่ช้าลงมาก
- การเลือกอัตราการเรียนรู้: ค่าที่ไม่เหมาะสมทำให้ลู่เข้าช้าหรือลู่ออก
- ฟังก์ชันไม่เรียบ: จุดที่หาอนุพันธ์ไม่ได้ทำให้การประมาณความชันซับซ้อนขึ้น
เทคนิคสมัยใหม่ เช่น ตัวเพิ่มประสิทธิภาพที่ปรับอัตราการเรียนรู้เอง และการทำให้เป็นมาตรฐานของข้อมูล ช่วยลดปัญหาเหล่านี้
ความสัมพันธ์กับแบ็กพร็อพ
ทั้งสองแนวคิดมักถูกกล่าวถึงคู่กันแต่คนละหน้าที่:
- Backpropagation คำนวณว่าพารามิเตอร์แต่ละตัวมีส่วนต่อข้อผิดพลาดอย่างไร โดยให้ค่าความชัน
- Gradient descent นำความชันนั้นมาใช้ตัดสินว่าจะปรับพารามิเตอร์ไปทางใดและมากน้อยเพียงใด
กล่าวอย่างย่อ แบ็กพร็อพให้ข้อมูลทิศทาง ส่วนการเคลื่อนลงตามความชันลงมือปรับค่า
การใช้งานนอกเหนือจากโครงข่ายประสาท
แม้จะเป็นที่รู้จักในการเรียนรู้เชิงลึก แต่หลักการนี้ใช้กับปัญหาเพิ่มประสิทธิภาพทั่วไปที่ฟังก์ชันสามารถหาอนุพันธ์ได้ เช่น การปรับพารามิเตอร์ของแบบจำลองสถิติหรือการถดถอย ส่วนการทำให้เป็นปกติ มักถูกเพิ่มเข้าไปในฟังก์ชันต้นทุนเพื่อควบคุมความซับซ้อนของแบบจำลอง
คำถามที่พบบ่อย
Gradient descent ใช้ทำอะไร?
ใช้หาพารามิเตอร์ที่ทำให้ฟังก์ชันต้นทุนมีค่าต่ำ โดยเคลื่อนที่สวนทางกับความชันในแต่ละรอบ
อัตราการเรียนรู้คืออะไร?
คือขนาดของก้าวที่ใช้ปรับพารามิเตอร์ ค่าเล็กไปทำให้ช้า ค่าใหญ่ไปอาจทำให้เลยจุดและไม่เสถียร
SGD ต่างจากแบบใช้ข้อมูลทั้งชุดอย่างไร?
SGD อัปเดตตามตัวอย่างหรือชุดย่อย ทำให้อัปเดตถี่และเร็วขึ้น แต่เส้นทางอาจแกว่งกว่าการใช้ข้อมูลทั้งหมดในคราวเดียว
เหตุใดจึงอาจติดค่าต่ำสุดเฉพาะที่?
เพราะเมื่อความชันเป็นศูนย์ ขั้นตอนวิธีจะหยุดเคลื่อนที่ ทั้งที่อาจยังมีจุดต่ำกว่าในบริเวณอื่นของฟังก์ชัน
แบ็กพร็อพกับ gradient descent เหมือนกันไหม?
ไม่เหมือน แบ็กพร็อพคำนวณความชันของข้อผิดพลาด ส่วน gradient descent ใช้ความชันนั้นปรับพารามิเตอร์
ขั้นตอนถัดไป
เพื่อให้เห็นภาพครบ ควรอ่านเรื่องการแพร่กระจายย้อนกลับคืออะไร และโครงข่ายประสาทเทียมคืออะไร จากนั้นศึกษาตัวเพิ่มประสิทธิภาพที่ปรับอัตราการเรียนรู้เองและบทบาทของฟังก์ชันต้นทุน
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free