دالة التنشيط

دالة التنشيط (Activation function)

دالة التنشيط هي جزء من الخلية العصبية، تتخذ القرار بارسال الاشارة من الخلية الى الخلية التالية أو التوقف،  مثال: يمكننا تشبيه دالة التنشيط (بالترموستات) في جهاز التكييف الذي يقوم بقراءة درجة حرارة الغرفة فيأخذ القرار بانها مناسبة و يوقف عمل الجهاز، و لذلك فان الانحياز يزيح دالة النشيط ليعطينا مرونة في زيادة أو إنقاص درجة الحرارة بغض النظر عن قرار دالة التنشيط (الترموستات)

انواع دالة التنشيط

. دالة السيجمويد (Sigmoid Function)

 * الشكل : تشبه حرف S

 * نطاق المخرج : بين 0 و 1

 * آلية العمل : تأخذ أي قيمة عددية (سواء كانت كبيرة جدا، صغيرة جدا، أو سالبة) وتضغطها لتجعلها في نطاق يتراوح بين 0 و 1. كلما زادت قيمة المدخل، اقترب المخرج من (1) وكلما انخفضت قيمة المدخل، اقترب المخرج من (0).

 استخدامها : تستخدم غالبا في طبقة المخرجات (Output Layer) في مشاكل التصنيف الثنائي (Binary Classification) مثلما في تصنيف الرسائل (مزعجة) أو (غير مزعجة). وذلك لأن مخرجها يمكن أن يفسر كاحتمالية، مثلا : مخرج 0.8 يعني احتمالية 80% أن الرسالة مزعجة.

  عيوبها : بطيئة في التدريب وقد تعاني من مشكلة (تلاشي الانحدار) (Vanishing Gradient) عندما تكون قيم المدخلات كبيرة جدا أو صغيرة جدا.

 دالة ReLU (Rectified Linear Unit)

 * الشكل : خط مستقيم يتغير عند نقطة الصفر

 * نطاق المخرج : بين 0 و اللانهاية

 * آلية العمل : بسيطة جدا، إذا كان المدخل موجبا، فإن المخرج هو نفس قيمة المدخل وإذا كان المدخل سالبا، فإن المخرج هو صفر

 * استخدامها : هي الأكثر شيوعا في الطبقات المخفية (Hidden Layers) في الشبكات العصبية العميقة وذلك لأنها سريعة جداًط في الحساب وتساعد في حل مشكلة (تلاشي الانحدار) بشكل فعال.

 * عيوبها : قد تعاني من مشكلة (الخلايا الميتة) (Dying ReLU)، حيث إذا كانت المدخلات سالبة بشكل مستمر، فإن الخلية قد تتوقف عن التعلم تماما. 

دالة الظل الزائدي (Hyperbolic Tangent - Tanh)

 * الشكل : تشبه دالة السيجمويد، ولكنها ممركزة حول الصفر

 * نطاق المخرج : بين -1 و 1

 * آلية عملها : تأخذ أي قيمة وتضغطها لتجعلها في نطاق بين -1 و 1

 * استخدامها : كانت شائعة في الطبقات المخفية كبديل لدالة السيجمويد، لأن مخرجاتها المتمحورة حول الصفر تساعد في استقرار عملية التدريب.

 * عيوبها : ما زالت تعاني من مشكلة (تلاشي الانحدار) بشكل مشابه للسيجمويد، مما جعل دالة ReLU تتفوق عليها في معظم التطبيقات الحديثة.