کمینهٔ توابع زیان کمکی با تطبیق رشد تأثیر (Laliga) برای شبکه‌های عصبی کانولوشنی

توسطadmin
بازگشت به آرشیو ←خبر پژوهشی

نویسندگان: Mohammad Mahdi Bejani و Mehdi Ghatee

منتشرشده در: Neurocomputing، 2021.

چکیده:

انتخاب مدل یک چالش است و شبکه‌های عصبی کانولوشنی (CNN) متداول معمولاً پارامترهایی بیش از نیاز دارند. این امر در کاربردهای واقعی موجب بیش‌برازش می‌شود. افزون بر این، با افزایش تعداد لایه‌های کانولوشن، ویژگی‌های پنهان استخراج‌شده از دست می‌روند. برای حل هر دو مسئله، از کمینهٔ توابع زیان کمکی استفاده می‌کنیم. برای این منظور، یک مسئلهٔ بهینه‌سازی مطرح می‌شود تا مجموعه‌ای از لایه‌ها با بیشترین مشارکت در فرایند آموزش انتخاب شود. همچنین، یک فرایند تطبیق رشد تأثیر، وزن زیان‌ها را تنظیم می‌کند. روش ساخته‌شده با نام «کمینهٔ توابع زیان کمکی با تطبیق رشد تأثیر» (Laliga)، بستری تخصصی برای انتخاب بهترین تنظیمات توابع زیان کمکی در آموزش CNNها فراهم می‌کند. Laliga ویژگی‌های پنهان را به‌دقت حفظ می‌کند و با استفاده از ویژگی‌های غیرزائد و مرتبط‌تر، فضای ویژگی را بهتر نمایش می‌دهد. همچنین برای منظم‌سازی وزن‌ها از تجزیهٔ مقادیر منفرد استفاده می‌کند. نتایج نظری نشان می‌دهند که Laliga بیش‌برازش را به‌طور چشمگیری کاهش می‌دهد. اگرچه این الگوریتم برای همهٔ مدل‌های CNN مفید است، نتایج آن برای شبکه‌های گروه هندسهٔ بصری (VGG) امیدبخش است. صحت آزمون Laliga برای مدل‌های مختلف VGG روی مجموعه‌داده‌های MNIST، CIFAR-10 و CIFAR-100 به‌ترتیب 99.7%، 92.3% و 73.4% است؛ این مقادیر نشان می‌دهند Laliga از بسیاری از روش‌های منظم‌سازی در خانوادهٔ حذف تصادفی (dropout) بهتر عمل می‌کند. علاوه بر این، صحت آن روی مجموعه‌داده‌های پیچیده‌تر Caltech-101 و Caltech-256 به بیش از 66.1% و 33.2% می‌رسد که از dropout بهتر و به نتایج منظم‌سازی طیفی تطبیقی (ASR) نزدیک است، هرچند Laliga سریع‌تر از ASR همگرا می‌شود. در پایان، نتایج Laliga را در یک مطالعهٔ موردی حمل‌ونقل تحلیل می‌کنیم.

برای کمک به دسترسی و اشتراک‌گذاری این اثر، پیوند اشتراک‌گذاری زیر

https://authors.elsevier.com/a/1ce043INukGqwO

دسترسی رایگان 50روزه به این مقاله را فراهم می‌کند. هرکس پیش از 15 آوریل 2021 روی این پیوند کلیک کند، مستقیماً به آخرین نسخهٔ مقاله در ScienceDirect هدایت می‌شود. نیازی به ایجاد حساب، ثبت‌نام یا پرداخت هزینه نیست.

نوشته‌های مشابه