Softmax คืออะไร? ฟังก์ชันแปลงคะแนนดิบให้เป็นความน่าจะเป็นที่รวมกันได้ 1
Softmax (ฟังก์ชันซอฟต์แมกซ์) คือ ฟังก์ชันที่แปลงคะแนนดิบ (logits) ของหลายตัวเลือกให้กลายเป็นความน่าจะเป็น โดยทุกค่าจะอยู่ระหว่าง 0 ถึง 1 และรวมกันได้เท่ากับ 1 ตัวเลือกที่มีคะแนนสูงสุดจะได้ความน่าจะเป็นมากที่สุด นิยมใช้ที่ชั้นขาออกของงานจำแนกหลายกลุ่ม และในกลไกความใส่ใจของทรานส์ฟอร์เมอร์
ฟังก์ชันซอฟต์แมกซ์คืออะไร
สมมติโมเดลต้องแยกรูปภาพเป็นแมว หมา หรือนก แล้วให้คะแนนดิบออกมาสามค่า คะแนนเหล่านี้ยังไม่ใช่ความน่าจะเป็นและอาจติดลบหรือมากกว่า 1 ได้ Softmax จะแปลงคะแนนชุดนี้ให้เป็นค่าที่ตีความได้ว่าเป็นโอกาสของแต่ละกลุ่ม
สูตร
สำหรับตัวเลือก (i) จากทั้งหมด (K) ตัวเลือก:
[ \text{softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^{K} e^{z_j}} ]
ตัวส่วนคือผลรวมเลขชี้กำลังของทุกคะแนน ทำให้เมื่อรวมค่าที่ได้ทั้งหมดแล้วเท่ากับ 1
ทำงานได้อย่างไร
- โมเดลให้คะแนนดิบแต่ละกลุ่ม
- นำคะแนนแต่ละค่าไปยกกำลังด้วย (e)
- หารด้วยผลรวมทั้งหมดเพื่อทำให้เป็นปกติ
- ได้ความน่าจะเป็นที่รวมกันได้ 1
ตัวอย่างเชิงแนวคิด
หากคะแนนดิบเป็น ([2.0,\ 1.0,\ 0.1]) กลุ่มแรกจะได้ความน่าจะเป็นสูงสุด และกลุ่มที่สามจะได้น้อยที่สุด ยิ่งคะแนนห่างกัน ความน่าจะเป็นจะยิ่งต่างกันชัดเจน
Softmax กับ Sigmoid
ทั้งคู่ให้ค่าระหว่าง 0 ถึง 1 แต่ใช้ต่างสถานการณ์:
| ฟังก์ชัน | จำนวนกลุ่ม | ลักษณะผลลัพธ์ |
|---|---|---|
| Sigmoid | งานสองกลุ่ม | ความน่าจะเป็นของแต่ละกรณี |
| Softmax | หลายกลุ่ม | ความน่าจะเป็นที่รวมกันได้ 1 |
สำหรับงานสองกลุ่ม Softmax จะให้ผลสอดคล้องกับโลจิสติกรีเกรสชัน
ใช้งานที่ไหน
- จำแนกหลายกลุ่ม: ชั้นขาออกที่ต้องเลือกคำตอบเดียวจากหลายหมวดหมู่
- ทรานส์ฟอร์เมอร์: ใช้ภายในหน่วยความใส่ใจเพื่อถ่วงน้ำหนักความสำคัญ
- การประมวลผลภาษาธรรมชาติ: แบบจำลองภาษาใช้แปลงคะแนนคำศัพท์เป็นความน่าจะเป็น
- การเรียนรู้ของเครื่องทั่วไป: เมื่อต้องเปรียบเทียบความน่าจะเป็นของหลายทางเลือก
เป็นฟังก์ชันกระตุ้นหรือไม่
Softmax จัดเป็นฟังก์ชันกระตุ้นชนิดหนึ่งในความหมายกว้าง เพราะแปลงค่าขาเข้าเป็นขาออก แต่โดยทั่วไปจะใช้ที่ชั้นขาออกมากกว่าชั้นซ่อน เนื่องจากให้ค่าที่ตีความเป็นความน่าจะเป็นของหลายกลุ่ม
ข้อควรระวัง
- คะแนนติดลบหรือสูงมาก: การใช้เลขชี้กำลังอาจทำให้ค่ามีขนาดใหญ่ การคำนวณจริงมักปรับลบค่าสูงสุดออกก่อนเพื่อความเสถียร
- ใช้ผิดกับงานหลายคำตอบ: หากตัวอย่างหนึ่งเป็นได้หลายกลุ่มพร้อมกัน อาจต้องใช้ sigmoid แยกแต่ละกลุ่มแทน
- ความมั่นใจสูงไม่ใช่ความถูกต้อง: ความน่าจะเป็นสูงบอกเพียงว่าโมเดลมั่นใจ ยังต้องตรวจสอบความแม่นยำด้วยฟังก์ชันการสูญเสีย
FAQ
Softmax ทำหน้าที่อะไร?
แปลงคะแนนดิบหลายค่าให้เป็นความน่าจะเป็นระหว่าง 0 ถึง 1 ที่รวมกันได้ 1 เพื่อเลือกกลุ่มที่เป็นไปได้มากที่สุด
ทำไมค่าที่ได้รวมกันได้ 1?
เพราะทุกค่าถูกหารด้วยผลรวมเลขชี้กำลังของทั้งหมด จึงแบ่งความน่าจะเป็นทั้งก้อนออกเป็นสัดส่วน
Softmax ต่างจาก Sigmoid อย่างไร?
Softmax ใช้กับหลายกลุ่มและให้ค่ารวมกันได้ 1 ส่วน sigmoid ใช้กับงานสองกลุ่มหรือพิจารณาแต่ละกรณีแยกกัน
ใช้ Softmax ที่ชั้นไหน?
ส่วนใหญ่ใช้ที่ชั้นขาออกของงานจำแนก และในกลไกความใส่ใจของทรานส์ฟอร์เมอร์
ความน่าจะเป็นที่สูงแปลว่าคำตอบถูกต้องไหม?
ไม่เสมอไป มันบอกระดับความมั่นใจของโมเดล แต่ความถูกต้องต้องวัดจากผลงานจริงและข้อมูลทดสอบ
สรุป
- Softmax แปลงคะแนนดิบเป็นความน่าจะเป็นหลายกลุ่ม
- ค่าที่ได้อยู่ระหว่าง 0 ถึง 1 และรวมกันได้ 1
- ใช้เลขชี้กำลังแล้วหารด้วยผลรวมทั้งหมด
- เหมาะกับงานจำแนกที่เลือกคำตอบเดียว
- ต่างจาก sigmoid ซึ่งใช้กับสองกลุ่มหรือหลายคำตอบอิสระ
- นิยมใช้ในชั้นขาออกและกลไกความใส่ใจของทรานส์ฟอร์เมอร์
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free