Yapay Sinir Ağı Aktivasyon Fonksiyonu Nedir?

 Yapay sinir ağı (YSA) aktivasyon fonksiyonları, bir sinir hücresinin (nöronun) çıkışını belirleyen matematiksel fonksiyonlardır. Bu fonksiyonlar, bir nöronun girdi toplamını alır ve belirli bir eşik veya sınıra göre nöronun çıkışını belirler. Aktivasyon fonksiyonları, sinir ağlarının karmaşıklığını artırmak, öğrenmeyi iyileştirmek ve modelin genelleme yeteneğini artırmak için kullanılır. İşte yaygın olarak kullanılan bazı aktivasyon fonksiyonları:

1. Sigmoid Fonksiyonu (Logistic Fonksiyon): $�(�)=\frac{1}{1+{�}^{-�}}$

   • Çıkış aralığı $(0,1)$ arasındadır.
   • Özellikle iki sınıflı (binary) sınıflandırma problemlerinde çıkış katmanında kullanılır.

2. 
   

3. 
   

4. Hiperbolik Tanjant Fonksiyonu (tanh): $\tanh (�)=\frac{{�}^{�}-{�}^{-�}}{{�}^{�}+{�}^{-�}}$

   • Çıkış aralığı $(-1,1)$ arasındadır.
   • Sigmoid fonksiyonuna benzer, ancak çıkış aralığı genişletilmiştir.

5. 
   

6. 
   

7. ReLU (Rectified Linear Unit): $�(�)=\max (0,�)$

   • Pozitif girişler için doğrudan değeri alır, negatif girişler için sıfır alır.
   • Çoğunlukla gizli katmanlarda kullanılır.
   • Hızlı öğrenmeye katkıda bulunabilir.

8. 
   

9. 
   

10. Leaky ReLU: $�(�)=\{\begin{array}{ll}�,& \text{e}\breve{\text{g}}\text{er }�>0\\ ��,& \text{e}\breve{\text{g}}\text{er }�\le 0\end{array}$

    • ReLU'nun bir değişimi olup, negatif girişler için küçük bir eğim parametresi ($�$) ekler.
    • Vanishing gradient problemine karşı daha dirençli olabilir.

11. 
    

12. 
    

13. Softmax Fonksiyonu: $\text{softmax}(\mathbf{�}{)}_{�}=\frac{{�}^{{�}_{�}}}{{\sum }_{�=1}^{�}{�}^{{�}_{�}}}$

    • Çok sınıflı (multiclass) sınıflandırma problemlerinde çıkış katmanında kullanılır.
    • Giriş vektörünü $�$ sınıf olasılık dağılımına dönüştürür.

Aktivasyon fonksiyonu seçimi, modelin performansını ve öğrenme yeteneklerini önemli ölçüde etkileyebilir. Bu nedenle, kullanılacak aktivasyon fonksiyonu problem türüne ve ağın mimarisine bağlı olarak dikkatlice seçilmelidir.