Vanishing gradient là gì

Vanishing Gradient

trituenhantao.io
2 năm trước
« Back to Glossary Index

Là vấn đề xảy ra khi huấn luyện các mạng nơ ron nhiều lớp. Khi huấn luyện, giá trị đạo hàm là thông tin phản hồi của quá trình lan truyền ngược. Giá trị này trở nên vô cùng nhỏ tại các lớp nơ ron Nơ ron
Một nơ ron hay tế bào thần kinh nhân tạo (còn được gọi là perceptron) là một hàm toán học. Nó là tổng của một hoặc nhiều yếu tố đầu vào được nhân với các trọng số. Giá trị này sau đó được chuyển đến một hàm phi tuyến tính, được gọi là hàm kích hoạt, để trở thành đầu ra của nơ ron.
đầu tiên khiến cho việc cập nhật trọng số mạng không thể xảy ra.

Bài viết có liên quan

  • Learning rate
  • 13/10/2019
  • Similar post
  • RNN
  • 13/10/2019
  • Similar post
  • Siêu tham số
  • 13/10/2019
  • Similar post
Phản hồi hoàn thiện nội dung
  • Issue: *
  • Your Name: *
  • Your Email: *
  • Details: *
Gửi
Vanishing gradient là gì
Related Articles:
  • ResNet - Mạng học sâu đúng nghĩa
  • Glossary: LSTM
  • Giới thiệu về Attention
  • Transformer hoạt động như thế nào?
« Back to Glossary Index