מודל Resnet
מודלים כמו InceptionNets ו-VGG16 הם מודלים שעורמים שכבות קונבלוציה רבות אחת אחרי השנייה. ניתן לחשוב כי רשתות עמוקות יותר מביאות לביצועים טובים יותר.
עם זאת, לאחר יציאת מודל Resnet התברר כי הדבר לא ממש מדויק.
להלן הבעיות עם רשתות שהן עמוקות יותר:
-
קשה לגרום לרשת להתכנס לפתרון (בשלב האימון).
-
עלולה להיווצר בעיה של היעלמות / פיצוץ של גרדיאנטים.
-
הדיוק בתחילה עולה עד שמגיע לרוויה ואז נופל.
כדי לטפל בבעיות הנ”ל, יוצרי הארכיטקטורה Resnet הגו את הרעיון “לדלג על קשרים” עם ההשערה כי השכבות העמוקות צריכות להיות מסוגלות ללמוד כמו השכבות הרדודות.
פתרון אפשרי הינו העתקת האקטיבציות מהשכבות הרדודות וקביעת שכבות נוספות למיפוי הזהויות.
כפי שניתן לראות:
תפקידם של קשרים אלו הוא לבצע פונקצית זהות על האקטיבציה של השכבת הרדודה (הראשונית), אשר בתורה תייצר את אותה אקטיבציה. לאחר מכן, הפלט מתווסף לאקטיבציה של השכבה הבאה. כדי לאפשר קשרים אלו, ובכלל לאפשר את האופרציות הנוספות הללו, יש צורך להבטיח את אותן מימדים של קונבלוציות לאורך כל הרשת. זו הסיבה שלמודלי Resnet יש את אותן קונבלוציות של 3 על 3 לאורך כל הדרך.
באמצעות בלוקים שיוריים ברשת, ניתן לבנות רשתות בכל עומק שהוא תחת ההבנה כי שכבות חדשות למעשה מסייעות ללמוד תבניות חדשות בנתוני הקלט. יוצרי הארכיטקטורה יצרו סוגים השונים של Resnet כגון Resnet50 בה אנחנו משתמשים.
הרעיון מאחורי אותם מעקפים הוא שבמקרה “הגרוע ביותר”, השכבות הנוספות לא למדו כלום והרשת תיתן את הפרגיקציה הטובה ביותר בהתבסס על המעקפים, ובמקרה הפחות גרוע יכול להתברר כי השכבות הנוספות למדו משהו שימושי ובמקרה זה, הרי שביצועי הרשת השתפרו.
לפיכך, הוספת בלוקי שיורית / קישורי דילוג לא פוגעות בביצועי הרשת ולמעשה מגדילות את הסיכויים כי שכבות חדשות ילמדו משהו שימושי.
