نظریهٔ منظم‌سازی تطبیقی مبتنی بر SVD برای شبکه‌های عصبی عمیق

نویسندگان: Mohammad Mahdi Bejani و Mehdi Ghatee

منتشرشده در: Neural Networks، جلد 128، اوت 2020، صفحات 33–46.

چکیده:

شبکه‌های عمیق می‌توانند مسائل پیچیده را بیاموزند، اما با بیش‌برازش مواجه می‌شوند. برای حل این مشکل، روش‌های منظم‌سازی پیشنهاد شده‌اند که با تغییرات پویای فرایند آموزش سازگار نیستند. این مقاله با رویکردی متفاوت، روشی برای منظم‌سازی بر پایهٔ تجزیهٔ مقادیر تکین (SVD) ارائه می‌کند که مدل یادگیری را به‌صورت تطبیقی تنظیم می‌کند. برای این منظور، می‌توان بیش‌برازش را با اعداد شرط ماتریس‌های سیناپسی ارزیابی کرد. هنگامی که بیش‌برازش زیاد باشد، ماتریس‌ها با تقریب‌های SVD خود جایگزین می‌شوند. برای نشان دادن عملکرد این روش منظم‌سازی، برخی نتایج نظری استخراج می‌شوند. اثبات می‌شود که تقریب SVD پس از چندین تکرار نمی‌تواند بیش‌برازش را برطرف کند. ازاین‌رو، جملهٔ جدیدی از نوع تیخونوف به تابع زیان افزوده می‌شود تا وزن‌های سیناپسی به تقریب SVD بهترین نتایج به‌دست‌آمده همگرا شوند. با پیروی از این رویکرد، منظم‌سازی تطبیقی SVD یا ASR پیشنهاد می‌شود تا مدل یادگیری را با توجه به ویژگی‌های پویای آموزش تنظیم کند. نتایج ASR به‌صورت بصری نمایش داده می‌شوند تا چگونگی غلبهٔ ASR بر بیش‌برازش نشان داده شود. پیکربندی‌های مختلف شبکه‌های عصبی پیچشی (CNN) با طرح‌های گوناگون افزایش داده پیاده‌سازی می‌شوند تا ASR با روش‌های پیشرفتهٔ منظم‌سازی مقایسه شود. نتایج نشان می‌دهند که دقت ASR در مجموعه‌داده‌های MNIST، F-MNIST، SVHN، CIFAR-10 و CIFAR-100 به‌ترتیب 99.4%، 95.7%، 97.1%، 93.2% و 55.6% است. اگرچه ASR بیش‌برازش و زیان اعتبارسنجی را بهبود می‌دهد، زمان اجرای آن به‌طور معناداری بیشتر از یادگیری بدون منظم‌سازی نیست.

نکات برجسته:

• به‌کارگیری عدد شرط ماتریس‌های سیناپسی برای ارزیابی پیچیدگی مدل یادگیری.

• منظم‌سازی شبکه‌های عصبی با تقریب SVD.

• ساده‌سازی ماتریس‌های سیناپسی با مهم‌ترین مؤلفه‌های SVD.

• به‌کارگیری جملهٔ جدیدی از نوع تیخونوف در تابع زیان برای حفظ بهترین نتایج به‌دست‌آمده.

• پیشنهاد منظم‌سازی تطبیقی SVD برای CNN به‌منظور بهبود خطاهای آموزش و اعتبارسنجی.