Backpropagation คืออะไร? วิธีที่โครงข่ายประสาทเรียนรู้จากข้อผิดพลาด

Updated · By Viviai

Backpropagation หรือการแพร่กระจายย้อนกลับ คือขั้นตอนวิธีฝึกโครงข่ายประสาทเทียม โดยคำนวณความชันของข้อผิดพลาดเทียบกับน้ำหนักแต่ละค่า แล้วส่งต่อข้อผิดพลาดจากชั้นสุดท้ายย้อนกลับไปยังชั้นแรกเพื่อปรับน้ำหนัก โดยทั่วไปใช้คู่กับการเคลื่อนลงตามความชัน และเป็นรากฐานของการเรียนรู้เชิงลึก

ปัญหาที่แบ็กพร็อพแก้ไข

โครงข่ายประสาทหลายชั้นมีน้ำหนักจำนวนมาก เมื่อแบบจำลองทำนายผิด หากมองเพียงผลลัพธ์สุดท้ายจะไม่ทราบว่าควรปรับน้ำหนักตัวใด การแพร่กระจายย้อนกลับช่วยตอบคำถามนี้ โดยวัดว่าน้ำหนักแต่ละค่ามีส่วนทำให้เกิดข้อผิดพลาดมากน้อยเพียงใด เพื่อปรับทิศทางที่จะช่วยลดข้อผิดพลาด

ชื่อภาษาอังกฤษมาจาก "backward propagation of errors" แปลว่าการส่งผ่านข้อผิดพลาดย้อนกลับ ข้อมูลยังคงไหลไปข้างหน้าตามปกติ แต่ข้อมูลเกี่ยวกับข้อผิดพลาดจะเดินทางย้อนกลับ

สองช่วงของหนึ่งรอบการฝึก

ช่วง ทิศทาง หน้าที่หลัก
การแพร่ไปข้างหน้า (forward pass) จากชั้นนำเข้าสู่ชั้นออก คำนวณผลทำนายจากข้อมูลปัจจุบัน
การแพร่ย้อนกลับ (backward pass) จากชั้นออกกลับชั้นนำเข้า คำนวณความชันของข้อผิดพลาดต่อน้ำหนักแต่ละค่า

เมื่อได้ความชันแล้ว ขั้นตอนวิธีเพิ่มประสิทธิภาพจะนำไปอัปเดตน้ำหนัก แบ็กพร็อพรับผิดชอบการหาความชัน ส่วนการอัปเดตเป็นหน้าที่ของตัวเพิ่มประสิทธิภาพ

ช่วงที่ 1: การแพร่ไปข้างหน้า

ข้อมูลไหลผ่านแต่ละชั้น โดยแต่ละเซลล์ประสาทรวมค่าน้ำหนักแล้วผ่านฟังก์ชันกระตุ้น โครงข่ายให้ผลทำนาย จากนั้นฟังก์ชันวัดข้อผิดพลาดจะเปรียบเทียบผลทำนายกับค่าที่ต้องการ แล้วสรุปออกมาเป็นค่าข้อผิดพลาดหนึ่งค่า ช่วงนี้ยังไม่มีการเปลี่ยนแปลงน้ำหนัก

ช่วงที่ 2: แพร่ย้อนกลับและอัปเดต

ข้อผิดพลาดที่ชั้นออกถูกส่งย้อนกลับไปยังชั้นซ่อนทีละชั้น ด้วยกฎลูกโซ่ของแคลคูลัส โครงข่ายจึงคำนวณความชันของข้อผิดพลาดเทียบกับน้ำหนักแต่ละค่าได้ เครื่องหมายของความชันบอกทิศทางที่ข้อผิดพลาดเพิ่มขึ้น น้ำหนักจึงถูกปรับไปในทิศตรงข้าม:

[ w_{\text{ใหม่}} = w - \eta \frac{\partial L}{\partial w} ]

โดย (\eta) คืออัตราการเรียนรู้ ซึ่งควบคุมว่าแต่ละก้าวจะปรับน้ำหนักมากหรือน้อย

ตัวอย่างที่เข้าใจง่าย

ลองนึกถึงสายการผลิตที่คนหลายคนส่งต่องานกัน แล้วคนสุดท้ายตรวจคุณภาพ เมื่อพบข้อผิดพลาด ผู้ตรวจจะไม่เพียงบอกว่าผิด แต่ยังย้อนดูทีละขั้นตอนว่าใครควรแก้ตรงไหน รอบถัดไปแต่ละคนจึงปรับงานของตนเล็กน้อย เมื่อทำซ้ำไปเรื่อย ๆ ข้อผิดพลาดก็ลดลง แบ็กพร็อพทำงานคล้ายกัน แต่เปลี่ยนคนเป็นน้ำหนัก และเปลี่ยนคำตักเตือนเป็นความชัน

เงื่อนไขที่จำเป็น

แบ็กพร็อพสามารถใช้กับโครงข่ายที่ไม่มีผู้สอนได้ด้วย เช่น ออโตเอ็นโค้ดเดอร์ที่มีเป้าหมายในการสร้างข้อมูลนำเข้ากลับคืนมา

บทบาทของกฎลูกโซ่

เซลล์ประสาทแต่ละตัวเป็นข้อหนึ่งในห่วงโซ่การคำนวณ ข้อผิดพลาดสุดท้ายขึ้นอยู่กับชั้นออก ชั้นออกขึ้นอยู่กับชั้นก่อนหน้า และย้อนต่อไปเรื่อย ๆ กฎลูกโซ่จะคูณอนุพันธ์ของแต่ละข้อเข้าด้วยกัน เพื่อบอกว่าการเปลี่ยนแปลงเล็กน้อยของน้ำหนักตัวหนึ่งจะส่งผลต่อข้อผิดพลาดสุดท้ายอย่างไร ทำให้คำนวณความชันทั้งโครงข่ายได้ในรอบเดียว

ปัญหาที่มักพบ

สถาปัตยกรรมสมัยใหม่จึงใช้ฟังก์ชันกระตุ้น การทำให้เป็นมาตรฐาน และการเชื่อมต่อแบบทางลัดเพื่อลดปัญหาเกี่ยวกับความชัน

ความสัมพันธ์กับแนวคิดอื่น

แนวคิด บทบาท
Backpropagation คำนวณความชันของข้อผิดพลาดเทียบกับน้ำหนัก
Gradient descent ใช้ความชันในการอัปเดตน้ำหนัก
อัตราการเรียนรู้ ควบคุมขนาดของก้าวที่อัปเดต
ฟังก์ชันกระตุ้น ต้องหาอนุพันธ์ได้เพื่อให้แบ็กพร็อพทำงาน
ตัวเพิ่มประสิทธิภาพ กฎการอัปเดต เช่น SGD หรือ Adam

ในการปฏิบัติ ข้อมูลมักถูกแบ่งเป็นชุดย่อย (mini-batches) แล้วใช้การเคลื่อนลงตามความชันแบบเฟ้นสุ่ม ซึ่งแบ็กพร็อพจะช่วยคำนวณความชันให้ในแต่ละชุด

คำถามที่พบบ่อย

แบ็กพร็อพเหมือนกับการเคลื่อนลงตามความชันหรือไม่?

ไม่เหมือนกัน แบ็กพร็อพคำนวณความชันของทั้งโครงข่าย ส่วนการเคลื่อนลงตามความชันนำความชันนั้นไปอัปเดตน้ำหนัก ทั้งสองมักใช้คู่กันแต่ทำหน้าที่คนละส่วน

เหตุใดต้องส่งข้อผิดพลาดย้อนกลับ?

เพราะน้ำหนักแต่ละค่าส่งผลโดยตรงต่อชั้นถัดไปเท่านั้น การส่งย้อนกลับด้วยกฎลูกโซ่ช่วยปันส่วนข้อผิดพลาดกลับไปยังน้ำหนักที่เป็นต้นเหตุได้ถูกต้อง

ใช้แบ็กพร็อพกับการเรียนรู้แบบไม่มีผู้สอนได้หรือไม่?

ได้ เช่น ออโตเอ็นโค้ดเดอร์ใช้แบ็กพร็อพเพื่อลดข้อผิดพลาดในการสร้างข้อมูลกลับมา แม้จะไม่มีป้ายกำกับภายนอก

ความชันเลือนหายคืออะไร?

คือภาวะที่ความชันหดเล็กลงมากเมื่อผ่านหลายชั้น ทำให้ชั้นแรกเรียนรู้ได้น้อย และเป็นเหตุผลหนึ่งของการพัฒนาสถาปัตยกรรมและฟังก์ชันกระตุ้นใหม่ ๆ

ขั้นตอนถัดไป

เพื่อให้เห็นภาพรวม ควรอ่านเรื่องโครงข่ายประสาทเทียมคืออะไร และการเรียนรู้เชิงลึกคืออะไร จากนั้นศึกษาบทบาทของอัตราการเรียนรู้และฟังก์ชันกระตุ้นต่อไป

Sources

  1. https://th.wikipedia.org/wiki/การแพร่กระจายย้อนกลับ
  2. https://en.wikipedia.org/wiki/Backpropagation

Learn by doing

Read a guide, then practice with bite-sized AI lessons you can take offline.

Start learning free