Activation Function คืออะไร? ตัวกำหนดว่าโหนดในโครงข่ายประสาทจะส่งสัญญาณหรือไม่
Activation Function (ฟังก์ชันกระตุ้น หรือฟังก์ชันถ่ายโอน) คือ ฟังก์ชันที่กำหนดค่าขาออกของแต่ละโหนดในโครงข่ายประสาทเทียม จากผลรวมของสัญญาณขาเข้า โดยช่วยตัดสินว่าโหนดนี้ควรส่งสัญญาณออกมามากเพียงใด หากไม่มีฟังก์ชันกระตุ้น โครงข่ายจะจำลองได้เพียงความสัมพันธ์เชิงเส้นตรง และไม่สามารถเรียนรู้รูปแบบที่ซับซ้อนได้
ฟังก์ชันกระตุ้นคืออะไร
แต่ละโหนดจะรวมสัญญาณขาเข้าที่ถ่วงน้ำหนักแล้วเป็นค่าหนึ่งค่า จากนั้นฟังก์ชันกระตุ้นจะแปลงค่านั้นเป็นขาออก ลองนึกภาพสวิตช์หรือเกณฑ์: หากสัญญาณมากพอ โหนดจะตื่นและส่งสัญญาณต่อ หากไม่ถึงเกณฑ์ก็จะส่งออกน้อยหรือไม่ส่งเลย
ทำไมต้องมี
หากใช้การแปลงเชิงเส้นล้วน ไม่ว่าจะมีกี่ชั้น ผลลัพธ์สุดท้ายก็ยังเทียบเท่าชั้นเชิงเส้นชั้นเดียว ฟังก์ชันกระตุ้นที่ไม่เป็นเชิงเส้นจึงทำให้การเรียนรู้เชิงลึกสามารถจับความสัมพันธ์ซับซ้อนในข้อมูลได้
ฟังก์ชันกระตุ้นที่พบบ่อย
Sigmoid
แปลงค่าใด ๆ ให้อยู่ระหว่าง 0 ถึง 1:
[ \sigma(x) = \frac{1}{1+e^{-x}} ]
เหมาะกับงานที่ต้องการค่าความน่าจะเป็น แต่มีปัญหาเมื่อค่าขาเข้าสูงมากหรือต่ำมาก เพราะค่าความชันจะเล็กจนเกือบศูนย์
Tanh
คล้าย sigmoid แต่ให้ค่าระหว่าง -1 ถึง 1 ทำให้ค่ามีศูนย์กลางอยู่ที่ศูนย์
ReLU (Rectified Linear Unit)
คืนค่า 0 เมื่อขาเข้าเป็นลบ และคืนค่าเดิมเมื่อขาเข้าเป็นบวก:
[ \text{ReLU}(x) = \max(0, x) ]
คำนวณเร็วและช่วยลดปัญหาความชันเล็ก จึงเป็นที่นิยมในชั้นซ่อนของโมเดลปัจจุบัน
ตารางเปรียบเทียบ
| ฟังก์ชัน | ช่วงค่าขาออก | จุดเด่น |
|---|---|---|
| Sigmoid | 0 ถึง 1 | อ่านเป็นความน่าจะเป็นได้ |
| Tanh | -1 ถึง 1 | ค่ามีศูนย์กลางที่ศูนย์ |
| ReLU | 0 ถึงค่าบวก | คำนวณเร็ว นิยมใช้ชั้นซ่อน |
ทำงานร่วมกับการฝึกอย่างไร
ระหว่างการแพร่กระจายย้อนกลับ โมเดลจะใช้ค่าความชันของฟังก์ชันกระตุ้นเพื่อปรับพารามิเตอร์ให้ฟังก์ชันการสูญเสียลดลง การเลือกฟังก์ชันกระตุ้นจึงมีผลต่อความเร็วและคุณภาพของการเรียนรู้
- ชั้นซ่อนส่วนใหญ่ในปัจจุบันใช้ ReLU หรือรูปแบบที่พัฒนาขึ้น
- ชั้นขาออกของงานจำแนกแบบสองกลุ่มอาจใช้ sigmoid คล้ายโลจิสติกรีเกรสชัน
- แต่ละชั้นไม่จำเป็นต้องใช้ฟังก์ชันเดียวกัน
ข้อควรระวัง
- Sigmoid กับค่าขาเข้าสุดโต่ง: ความชันเล็กมากทำให้การเรียนช้า
- Dead ReLU: หากโหนดได้ค่าขาเข้าเป็นลบตลอด อาจคืนค่า 0 ถาวรและไม่อัปเดต
- ช่วงค่าขาออก: ควรเลือกให้เหมาะกับงาน เช่น ค่าความน่าจะเป็นต้องอยู่ระหว่าง 0 ถึง 1
- การเลือกฟังก์ชันไม่เหมาะสมอาจทำให้โมเดลฝึกยากหรือเกิดภาวะโอเวอร์ฟิตติ้ง
FAQ
ฟังก์ชันกระตุ้นทำหน้าที่อะไร?
แปลงผลรวมสัญญาณขาเข้าของโหนดเป็นขาออก และตัดสินว่าโหนดควรส่งสัญญาณมากเพียงใด
ทำไมต้องใช้ฟังก์ชันที่ไม่เป็นเชิงเส้น?
เพื่อให้โครงข่ายเรียนรู้ความสัมพันธ์ซับซ้อนได้ หากเป็นเชิงเส้นล้วน หลายชั้นก็ไม่ได้ช่วยเพิ่มความสามารถ
ReLU คืออะไร?
ฟังก์ชันที่คืนค่า 0 สำหรับขาเข้าลบ และคืนค่าเดิมสำหรับขาเข้าบวก คำนวณเร็วและนิยมใช้ในชั้นซ่อน
Sigmoid กับ Tanh ต่างกันอย่างไร?
Sigmoid ให้ค่าระหว่าง 0 ถึง 1 ส่วน tanh ให้ค่าระหว่าง -1 ถึง 1 และมีศูนย์กลางที่ศูนย์
ทุกชั้นต้องใช้ฟังก์ชันเดียวกันไหม?
ไม่จำเป็น สามารถเลือกฟังก์ชันกระตุ้นต่างกันตามหน้าที่ของแต่ละชั้นได้
สรุป
- ฟังก์ชันกระตุ้นกำหนดขาออกของแต่ละโหนดในโครงข่ายประสาท
- ทำให้โครงข่ายเรียนรู้ความสัมพันธ์แบบไม่เป็นเชิงเส้นที่ซับซ้อนได้
- แบบที่พบบ่อย ได้แก่ sigmoid, tanh และ ReLU
- ReLU คำนวณเร็วและนิยมใช้ในชั้นซ่อน
- ความชันของฟังก์ชันถูกใช้ระหว่างการแพร่กระจายย้อนกลับ
- ควรเลือกฟังก์ชันให้เหมาะกับช่วงค่าขาออกและลักษณะงาน
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free