دانشگاه اصفهان نشریه ریاضی و جامعه 2345-6493 5 1 2020 05 21 Application of Taylor expansion in reducing the size of convolutional neural networks for classifying Impressionism and Miniature paintings کاربرد بسط تیلور در کاهش حجم شبکه‌های عصبی پیچشی برای طبقه‌بندی نقاشی‌های سبک امپرسیونیسم و مینیاتور 1 16 25351 10.22108/msci.2021.124814.1387 FA محمود امین‌طوسی دانشکده ریاضی و علوم کامپیوتر‏، دانشگاه حکیم سبزواری‏، سبزوار Journal Article 2020 09 16 Taylor expansion is one of the methods for approximating functions that are differentiable of any order. The main paradigm in neural networks learning is based on deriving from the objective function and using gradient descent to achieve optimal solutions. Convolutional neural networks are among the most important tools in the field of deep learning. Most of these networks involve models with large sizes, and reducing the volume of these models is a current research topic. The primary method of reducing the size of models is pruning the redundant connections of neural networks, which are usually based on the size of connection weights. One of these methods is using Taylor expansion of the objective function to prioritize connections for removal from the network. In this paper, this method is extensively discussed, and a new application of it in classifying paintings with impressionism and miniature styles is presented. The experimental results show that with the Taylor expansion-based method, 83% of the network connections can be selected and removed without compromising the accuracy of the model in this specific application. بسط تیلور یکی از رو‌ش‌های تقریب توابعی است که از هر مرتبه‌ای مشتق‌پذیر هستند. روال اصلی یادگیری در شبکه‌های عصبی، مبتنی بر مشتق‌گیری از تابع هدف و استفاده از گرادیان کاهشی برای نیل به پاسخ بهینه است. شبکه‌های عصبی پیچشی از مهمترین ابزار حوزه یادگیری عمیق هستند. عمده‌ی این شبکه‌ها متضمن مدل‌هایی با اندازه‌های بزرگ بوده و کاهش حجم این مدل‌ها از موضوعات تحقیقاتی به‌روز می‌باشد. شیوه‌ی اصلی روش‌های کاهش حجم مدل‌ها، هرس کردن اتصالات زائد شبکه‌های عصبی است، که عموماً مبتنی بر اندازه‌ی وزن اتصالات می‌باشند. از جمله‌ی این شیوه‌ها، استفاده از بسط تیلور تابع هدف در محاسبه‌ی اولویت اتصالات، برای حذف آنها از شبکه است. در این نوشتار، این شیوه به صورت مبسوط مورد بررسی قرار گرفته و کاربرد جدیدی از آن در تفکیک تابلوهای نقاشی با سبک‌های امپرسیونیسم (برداشت‌گرایی)‌ و مینیاتور (خُردنگارگری) ارائه شده است. نتایج آزمایش‌ها نشان داده است که با روش مبتنی بر بسط تیلور می‌توان ۸۳ درصد از اتصالات شبکه را انتخاب و حذف نمود، بدون آنکه دقت مدل در این کاربرد خاص کاهش پیدا کند. https://math-sci.ui.ac.ir/article_25351_af3f8e0e53ca9364b729ae74ed0f229a.pdf