مروری نظام‌مند بر کنترل بیش‌برازش در شبکه‌های عصبی کم‌عمق و عمیق
«مروری نظام‌مند بر کنترل بیش‌برازش در شبکه‌های عصبی کم‌عمق و عمیق»
نویسندگان: Mohammad Mahdi Bejani و Mehdi Ghatee
در «Artificial Intelligence Review» منتشر شده است
چکیده:
شبکه‌های عصبی کم‌عمق ویژگی‌ها را به‌طور مستقیم پردازش می‌کنند، درحالی‌که شبکه‌های عمیق ویژگی‌ها را هم‌زمان با آموزش به‌صورت خودکار استخراج می‌کنند. هر دو مدل در بسیاری از موارد با بیش‌برازش یا تعمیم ضعیف مواجه‌اند. شبکه‌های عمیق نسبت به شبکه‌های کم‌عمق ابرپارامترهای بیشتری دارند که احتمال بیش‌برازش را افزایش می‌دهد. این مقاله مروری نظام‌مند بر روش‌های کنترل بیش‌برازش ارائه می‌کند و آن‌ها را به سه دستهٔ غیرفعال، فعال و نیمه‌فعال تقسیم می‌کند. روش غیرفعال، شبکهٔ عصبی را پیش از آموزش طراحی می‌کند؛ روش فعال، شبکهٔ عصبی را هم‌زمان با فرایند آموزش تطبیق می‌دهد؛ و روش نیمه‌فعال، هنگامی که عملکرد آموزش ضعیف باشد، شبکهٔ عصبی را بازطراحی می‌کند. این مرور شامل مبانی نظری و تجربی این روش‌ها، نقاط قوت و ضعف آن‌ها و فنون نوظهور تشخیص بیش‌برازش است. تطبیق پیچیدگی مدل با پیچیدگی داده‌ها موضوع دیگر این مرور است. رابطهٔ میان کنترل بیش‌برازش، منظم‌سازی، فشرده‌سازی شبکه و ساده‌سازی شبکه نیز بیان می‌شود. مقاله با ارائهٔ چند درس برگرفته از ادبیات پژوهش پایان می‌یابد.
کلیدواژه‌ها: مرور؛ تعمیم شبکهٔ عصبی؛ بیش‌برازش؛ منظم‌سازی؛ ساده‌سازی مدل؛ انتخاب مدل؛ کاهش ابرپارامترها؛ هرس؛ فشرده‌سازی شبکه
