RNN คืออะไร? นิวรัลเน็ตเวิร์กแบบวนกลับสำหรับข้อมูลลำดับ อธิบายง่าย ๆ
นิวรัลเน็ตเวิร์กแบบวนกลับ (Recurrent Neural Network, ย่อว่า RNN) เป็นโมเดลดีปเลิร์นนิงที่ออกแบบมาเพื่อประมวลผลข้อมูลตามลำดับ เช่น คำ ประโยค เสียงพูด และข้อมูลอนุกรมเวลา จุดเด่นสำคัญคือ RNN มีเส้นทางวนกลับที่ส่งผ่านสถานะจากขั้นตอนหนึ่งไปยังขั้นตอนถัดไป ทำให้โมเดลสามารถใช้ข้อมูลที่เคยพบมาก่อนในการตีความส่วนปัจจุบัน แทนที่จะประมวลผลแต่ละส่วนแยกจากกัน
คำตอบสั้น ๆ: RNN ทำงานอย่างไร
โมเดลทั่วไปไม่เก็บบริบทระหว่างอินพุต ส่วน RNN เพิ่มวงจรที่ทุกขั้นตอนเวลา จะรับอินพุตปัจจุบันพร้อมสถานะซ่อนจากขั้นตอนก่อน แล้วสร้างสถานะซ่อนใหม่เพื่อส่งต่อ
รูปแบบการคำนวณเบื้องต้น:
- สถานะซ่อนใหม่: (h_t = \tanh(W_x x_t + W_h h_{t-1} + b_h))
- เอาต์พุต: (y_t = W_y h_t + b_y)
เมทริกซ์น้ำหนัก (W_x, W_h, W_y) ถูกใช้ร่วมกันในทุกขั้นตอนเวลา ไม่ได้สร้างชุดใหม่แยกแต่ละขั้นตอน
ส่วนประกอบหลัก
- ลำดับอินพุต: ข้อมูลถูกป้อนทีละส่วน เช่น ครั้งละหนึ่งคำ
- สถานะซ่อน (hidden state): เวกเตอร์ที่สรุปสิ่งที่โมเดลอ่านมาจนถึงจุดนี้ ทำหน้าที่หน่วยความจำระยะสั้น
- การเชื่อมต่อแบบวนกลับ: เส้นทางที่นำสถานะซ่อนกลับเข้าไปเป็นอินพุตในขั้นตอนถัดไป
- ชั้นเอาต์พุต: ใช้สถานะซ่อนสร้างผลลัพธ์ เช่น คำถัดไปหรือป้ายกำกับ
- ฟังก์ชันกระตุ้น: มักใช้ tanh ในสถานะซ่อน และ sigmoid/softmax ที่เอาต์พุต
ลำดับการประมวลผลตามขั้นตอนเวลา
- ที่ขั้นตอน (t) โมเดลรับอินพุต (x_t) และสถานะซ่อน (h_{t-1})
- ทั้งสองค่าถูกรวมผ่านฟังก์ชัน tanh ให้เป็นสถานะซ่อนใหม่ (h_t)
- (h_t) ถูกใช้คำนวณเอาต์พุต (y_t)
- (h_t) ถูกส่งต่อไปยังขั้นตอน (t+1) แล้วทำซ้ำจนจบลำดับ
เนื่องจากน้ำหนักชุดเดียวกันใช้ร่วมทั้งลำดับ จำนวนพารามิเตอร์จึงไม่เพิ่มตามความยาวประโยค และโมเดลเรียนกฎที่ใช้ได้กับทุกตำแหน่ง
เหตุใด RNN จึงเหมาะกับข้อมูลลำดับ
ลำดับในข้อมูลหลายชนิดมีความหมาย การเรียงคำในประโยค โน้ตเพลง หรือค่าที่เปลี่ยนตามเวลาล้วนขึ้นอยู่กับองค์ประกอบก่อนหน้า สถานะซ่อนช่วยให้ RNN ใช้บริบทเดิมในการเข้าใจส่วนที่กำลังประมวลผล
| ชนิดข้อมูล | ตัวอย่างงาน |
|---|---|
| ข้อความ | วิเคราะห์ความรู้สึก สร้างแบบจำลองภาษา แปลภาษา |
| เสียงพูด | รู้จำเสียงพูด เปลี่ยนเสียงเป็นข้อความ |
| อนุกรมเวลา | พยากรณ์ค่า ข้อมูลเซ็นเซอร์ เวชระเบียน |
| ลายมือ | รู้จำลายมือที่เขียนต่อกัน |
RNN มีความเชื่อมโยงใกล้ชิดกับการประมวลผลภาษาธรรมชาติ และอยู่ในตระกูลโครงข่ายประสาทเทียม ภายใต้แนวคิดการเรียนรู้แบบมีผู้สอน
ปัญหาเกรดิเอนต์เลือนและเกรดิเอนต์ระเบิด
ระหว่างฝึก RNN จะถูก "คลี่ออก" ตามเวลาและเรียนรู้ด้วยการแพร่ย้อนผ่านเวลา (Backpropagation Through Time) เกรดิเอนต์ของข้อผิดพลาดถูกคูณสะสมหลายขั้นตอน ก่อให้เกิดสองอาการ:
- เกรดิเอนต์เลือน (vanishing gradient): เกรดิเอนต์หดเล็กลงในขั้นตอนที่ห่างออกไป ทำให้เรียนความสัมพันธ์ระยะยาวได้ยาก
- เกรดิเอนต์ระเบิด (exploding gradient): เกรดิเอนต์ขยายใหญ่จนฝึกไม่เสถียร อาจบรรเทาด้วยการตัดเกรดิเอนต์
RNN แบบพื้นฐานจึงมักจัดการความสัมพันธ์ที่ยาวมากได้จำกัด นำไปสู่สถาปัตยกรรมที่มีประตูควบคุม
LSTM และ GRU
- LSTM (Long Short-Term Memory): เพิ่มสถานะเซลล์และประตูควบคุม ได้แก่ ประตูลืม ประตูอินพุต และประตูเอาต์พุต เพื่อกำกับว่าจะเก็บ เขียนใหม่ หรือแสดงข้อมูลใด ช่วยรักษาข้อมูลสำคัญข้ามหลายขั้นตอน
- GRU (Gated Recurrent Unit): รวมประตูลืมกับประตูอินพุตเข้าด้วยกัน ใช้เฉพาะสถานะซ่อน โครงสร้างเรียบง่ายและมักฝึกเร็วกว่า
ทั้งสองแบบช่วยรักษาเส้นทางเกรดิเอนต์ให้ข้อมูลไม่เลือนหายในลำดับที่ยาวขึ้น
จุดแข็งและข้อควรระวัง
จุดแข็ง
- จำลองลำดับและบริบทผ่านสถานะซ่อน
- ใช้น้ำหนักร่วมกันจึงรองรับลำดับความยาวต่างกันได้
- เหมาะกับงานข้อความ เสียงพูด และอนุกรมเวลา
ข้อควรระวัง
- RNN พื้นฐานเรียนความสัมพันธ์ระยะยาวได้ยาวได้ยากจากเกรดิเอนต์เลือน
- ขั้นตอนเวลาประมวลผลตามลำดับ ทำให้ขนานกันได้ยาก
- ผลลัพธ์อ่อนไหวต่อการเตรียมข้อมูลและการเลือกสถาปัตยกรรม
คำถามที่พบบ่อย
RNN ต่างจากโครงข่ายประสาททั่วไปอย่างไร?
โครงข่ายทั่วไปประมวลผลอินพุตแบบอิสระและไม่เก็บบริบท ส่วน RNN มีวงจรนำสถานะซ่อนผ่านขั้นตอนเวลา ทำให้ผลลัพธ์ปัจจุบันขึ้นกับข้อมูลที่เคยปรากฏก่อนได้
สถานะซ่อนมีบทบาทอะไร?
สถานะซ่อนคือเวกเตอร์สรุปข้อมูลที่อ่านมาถึงขั้นตอนปัจจุบัน ทำหน้าที่หน่วยความจำระยะสั้นและถูกส่งต่อไปยังขั้นตอนถัดไป
ควรใช้ LSTM หรือ GRU เมื่อใด?
เมื่อลำดับอินพุตยาวและ RNN พื้นฐานประสบปัญหาเกรดิเอนต์เลือน LSTM หรือ GRU ช่วยรักษาข้อมูลสำคัญ โดย GRU มักเบากว่า ส่วน LSTM มีการควบคุมหน่วยความจำครบถ้วนกว่า
RNN ยังใช้งานอยู่ในปัจจุบันหรือไม่?
RNN และรูปแบบย่อยเคยเป็นหลักในข้อมูลลำดับ แต่หลายงานในปัจจุบันหันไปใช้สถาปัตยกรรมทรานส์ฟอร์เมอร์ อย่างไรก็ตาม แนวคิดเรื่องสถานะซ่อนและความสัมพันธ์ตามลำดับยังเป็นพื้นฐานสำคัญ
หมายเหตุของบรรณาธิการ
บทความนี้ผ่านการตรวจสอบข้ามแหล่งแล้ว โดยมีแหล่งข้อมูลอิสระสองแหล่งจากผู้เผยแพร่ต่างกัน (แหล่งภาษาไทยเดิมและ IBM Think) จึงผ่านเกณฑ์สองแหล่งอิสระ แต่ยังรอการตรวจทานจากเจ้าของภาษาก่อนเลื่อนสถานะเป็นทางการ
สรุป
นิวรัลเน็ตเวิร์กแบบวนกลับประมวลผลข้อมูลลำดับด้วยการรักษาสถานะซ่อนที่ส่งผ่านทุกขั้นตอนเวลา และใช้น้ำหนักร่วมกันทั้งลำดับ ปัญหาเกรดิเอนต์เลือนนำไปสู่ LSTM และ GRU ซึ่งช่วยรักษาข้อมูลระยะยาว นี่เป็นสถาปัตยกรรมพื้นฐานสำหรับทำความเข้าใจว่าเอไอจัดการข้อความ เสียงพูด และข้อมูลเวลาอย่างไร
Sources
Learn by doing
Read a guide, then practice with bite-sized AI lessons you can take offline.
Start learning free