فرمت فایل: ورد –Word و قابل ویرایش

تعداد صفحات: 72

مدل هاي شبكه عصبي مصنوعي (ANN ) به طور گسترده در كاربردهاي متفاوتي استفاده شده اند. شبكه هاي پس انتشار خطا ، پركاربردترين مورد استفاده در شبكه هاي عصبي مصنوعي،براي حل تعداد زيادي از مسائل واقعي بكار گرفته شده است.

در سال هاي اخير بسياري از الگوريتم هاي يادگيري به طور گسترده اي به منظور آموزش شبكه هاي عصبي براي حل مسائل پيچيده غير خطي طراحي شده و توسعه يافته اند. يكي از نقص ها ي اساسي در شبكه هاي عصبي جاري اين است كه تحقيق و پژوهش وابسته به طراحي شبكه عصبي مي باشد.طراحي يك شبكه عصبي شامل انتخاب يك مجموعه بهينه از پارامتر ها ي طراحي مي باشدنحقخ تا همگرايي سريع را در طول آموزش و دقت مورد نياز را هنگام فراخواني بدست آورد.

محققان به طور معمول شبكه هاي عصبي با BPN را بسيار آموزش داده اند.

دقت هر تقريب آموزش بستگي به انتخاب وزن هاي مناسب براي شبكه عصبي دارد.متاسفانه bp يك الگوريتم جستجوي محلي است. بنابراين موجب واقع شدن در تله مي نيمم محلي مي شود .اگر وزن هاي اوليه در يك شيب محلي واقع شود ، الگوريتم احتمالا در يك بهينه محلي قرار خواهد گرفت .محققان از روش هاي متفاوتي استفاده مي كنند تا اين ويژگي ها يbp را تنظيم كنند.

براي مثال در یک روش الگوریتم مي تواند تنظيم شود تا مومنتم را تغيير دهد به طوريكه جستجو از بهينه محلي خارج شود و به سمت راه حل عمومي حركت كند .مقادير صحيح اين پارامتر ها قياسي و عمومي نمي باشند و اغلب براي يك مسئله خاص هستند .بنابراين براي هر مسئله داده شده تعداد زيادي از پارامترها بايد آزمايش شوند تا اطمينان پيدا كنند كه بهينه عمومي پيدا شده است .

روش عمومي ديگر براي پيدا كردن بهترين راه حل (شايد بهينه عمومي ) با استفاده از bp اين است كه آموزش دوباره از بسياري از نقاط رندم شروع شود.دوباره تعداد نقاط شروع رندم مشخص نمي باشد و عموما به طور قابل توجهي براي مسائل پيچيده متفاوت مي باشد.

روش سوم اين است كه ساختار شبكه عصبي بازسازي شود در چنين روشي احتمال رسيدن به بهينه عمومي بسيار زياد مي باشد .هر چند در اين روش تخمين پذيرفته شده اي عمومي وجود ندارد و محققان روش هاي متفاوت دیگری را ترجيح مي دهند .

يكي از معقول ترين روش ها ،استفاده از الگوريتم ژنتيك به منظور پيدا كردن يك ساختار بالقوه براي استفاده از bp مي باشد .هر چه ساختار شبكه ساده تر باشد و پيچيدگي كمتري داشته باشد ، الگوريتم bp با احتمال بيشتري موفق مي شود.

در اين رويكرد اگر چه شبكه عصبي به طور فزاينده اي شكست مي خورد ولي روش توانايي مدل كردن ارتباطات پيچيده را نيز دارد .

Bpn ها در عين محدوديت داشتن،هنگاميكه از تكنيك جستجوي گراديان استفاده مي كنند مشكل سرعت پايين همگرايي در رسيدن به جواب را دارا مي باشند.

بنابراين يك bpn داراي دو اشكال عمده به شرح زير است :

1.تكنيك جستجوي گراديان به يك جواب بهينه با كارايي متناقض و غير قابل پيش بيني براي بعضي از كاربردها همگرا مي شود.

2.هنگاميكه در بعضي نواحي در مينيمم محلي واقع مي شودتكنيك جستجوي گراديان به طور ضعيفي دربدست آوردن يك جواب بهينه عمومي عمل مي كند.

عمده ترين مسئله در طول پروسه آموزش شبكه عصبي احتمال 1OF در داده هاي آموزش مي باشد.بدين معنا كه در طول يك دوره آموزش معين شبكه ،قابليت حل مسائل توسط آن بهتر نمي شود.OF همچنين هنگامي اتفاق مي افتد كه شبكه عصبي دارای درجات آزادي بيشترنسبت به حالتی است كه مي توانست به وسيله نمونه هاي آموزشي تحميل شود.OF معمولا در طول مرحله بعد از آموزش شبكه عصبي با كاهش خطاي آ‌موزش وافزايش خطاي پيش بيني رخ مي دهد . بنابراين در توانايي عموميت دادن يك شبكه بسيار ضعيف مي باشد .OF داده هاي آموزش مخصوصا در شبكه هايي با يك لايه مخفي معمول مي باشد .آموزش در يك مينيمم محلي متوقف مي شود كه به نتايج غير موثر منجر مي شود و يك تناسب سازي ضعيف از مدل را نشان مي دهد .بهترين روش براي كاهش وزن ها در Riply,1993)) پيشنهاد شده بود تا از چنين OF دوري نمايد .

در بررسي (Schittenk 1997) شبكه پس انتشار خطا روي مجموعه داده نشان داده شده موجب OF شد كه بعد از تعداد تكرار مشخصي در مرحله آموزش شروع شد .دو استراتژي ارائه شدند تا مقدار اطلاعات انتقال داده شده را به وسيله يك شبكه feed forward،رو به جلو، كه در آناليز مولفه اصلي (PCA) استفاده شده بود محدود كنند .در 1997 zhang و همکارانش نشان دادند كه OF همچنين هنگاميكه تقريب چند جمله اي هاي مرتبه بالا براي مناسب سازي تعداد كمي از نقاط استفاده شده بود اتفاق مي افتد . در مقاله آنها يك شبكه عصبي بكار برده شده بود تا فلورانس داده ها را از يك سيستم تحمیلی چند مولفه اي به منظور انتخاب ساختاري بهينه مدل كند ،شبكه از يك الگوريتم پيشنهادي هرس نود پنهان (HNPA) نيز استفاده مي نمود .

با توجه به اين موارد بهبود همگرايي bpn و دوري از OF داده ها در طي آموزش هر دو خيلي مهم هستند.

الگوريتم ژنتيك

الگوريتم ژنتيك متعلق به كلاسي از الگوريتم هاي جستجوي تصادفي بر پايه جمعيت مي باشدكه الهام گرفته از فرضيه تكامل تدريجي كه به صورت الگوريتم هاي تكاملي (EA) ناميده مي شوند .ديگر الگوريتم هاي اين كلاس شامل استراتژي هاي تكاملي (ES) و برنامه نويسي هاي ژنتيك (GP) مي باشد.

GA يك روش جستجوي عمومي است كه از يك جمعيت از راه حل ها به ديگري جستجو مي كند . براي مسائل محدود [4] و براي مسائل پيچيده ، الگوريتم ژنتيك (GA) به طور استثنائي هنگام بهينه سازي توابع غير خطي مشكل ،در بدست آوردن راه حل عمومي به گونه اي مناسب عمل مي نمايد.آنها هم چنين در [5],[7] اثبات كردند كه GA نيز در بهينه سازي شبكه عصبي داراي كارايي بالاست .

به طور كلي الگوريتم با انتخاب تصادفي يك جمعيت اوليه از راه حل هاي ممكن آغاز مي شود .اين جمعيت ، نسل اول است كه الگوريتم ژنتيك در آن ،راه حل بهينه را جستجو مي كند .مقدار جمعيت اوليه 50 در نظر گرفته شده است .بنابراين براي يك الگوريتم ژنتيك مورد آموزش ، 50 مجموعه از وزن ها ، در هر نسل ارزيابي مي شود .بر خلاف bp كه از يك نقطه به نقطه اي ديگر حركت مي كند ،GA فضاي وزن را از يك مجموعه از وزن ها به مجموعه اي ديگر ، به طور همزمان در بسياري از جهت ها جستجو مي كند .اين احتمال يافتن بهينه عمومي را افزايش مي دهد .براي هر يك از راه حل ها ، تابع ارزياب محاسبه مي شود .در اين مقاله مجموع مربعات خطا به عنوان تابع هدف مورد استفاده قرار مي گيرد كه با bp سازگار مي شود .يك احتمال به هر راه حل بر پايه مقدار تابع هدف آن اختصاص داده مي شود .به عنوان مثال راه حل هايي كه كمترين مقدار مجموع مربعات خطا را دارند ، بيشترين احتمال را به خود اختصاص مي دهند و بدين نحونسل اول كامل مي شود.نسل دوم به وسيله انتخاب تصادفي يك جمعيت جديد ايجاد مي شود .50 راه حل با جايگذاري انتخاب مي شوند چنانچه راه حل هاي خوب ، احتمال بيشتري دارند تا در جمعيت جديد نمايش داده شوند و بر عكس راه حل هاي ضعيف حذف خواهند شد،اين بازتوليد ناميده مي شود.به عبارت ديگر ويژگي هاي مطلوب تر در بهينه سازي تابع هدف ،دوباره ساخته خواهند شد و در نسل ها ي بعد پيشرفت مي كنند در حاليكه صفات ضعيفتر حذف مي شوند..اين جمعيت جديد از راه حل ها به صورت رندم به دو راه حل بهتر با مقدار تابع ارزياب كمتر ، ميزان خطاي كمتر انتخاب مي شوند و با توجه به احتمال ادغام عمل ادغام صورت مي پذيرد. دوراه حل ممكن فرزند را توليد مي كنند كه هر يك با بعضي از پارامتر ها (وزن ها) را از راه حل هاي والد دارا هستند . سر انجام هر راه حل يك احتمال كوچك دارد هر يك از وزن ها هاي آن ممكن است به طور يكنواخت با يك مقدار انتخاب شده از محدوده پارامتر جايگزين شود (جهش).اين مجموعه نتايج از راه حل ها اكنون يك جمعيت جديد يا نسل بعدي مي باشد و پروسه تكرار مي شود .اين پروسه ادامه مي يابد تا هنگاميكه جمعيت اوليه به صورت نسلي رشد كند كه بهترين مسئله بهينه سازي ,بهينه مطلوب , را تولید كند.

الگوریتم ژنتیک به طور گسترده در شبکه های عصبی مصنوعی استفاده شده است . كاربرد الگوريتم هاي ژنتيك براي شبكه هاي عصبي در دو گروه مجزا تقسيم مي شوند .

اول - الگوريتم هاي ژنتيك براي پيدا كردن معماري بهينه شبكه براي اهداف خاص استفاده مي شود .در اين روش معماري هاي متفاوت شبكه به صورت ماتريس هاي اتصال نمايش داده مي شوند كه مستقيما در يك رشته بيت نگاشت يافته اند .آنگاه عملگرهاي استاندارد ژنتيك استفاده مي شوند تا روي جمعيتي از اين رشته بيت ها عمل كنند تا پي در پي سطوح ارزيابي بالاتري را توليد نمايند .

دوم – ديدگاه دوم بهينه سازي شبكه عصبي با استفاده از الگوريتم ژنتيك براي جستجو مي باشد .اين پژوهش نيز بر پايه اين ديدگاه مي باشد .اين روش از نمايش باينري وزن ها استفاده مي كند .در مقاله جاري ،همه وزن ها به صورت اعداد اعشاري در الگوريتم ژنتيك نمايش داده مي شوندو به طور متوسط در دستیابی به راه حل های بهینه موفق شناخته شده است .الگوریتم های ژنتیک بهینه سازی کارایی bpn ، پارامتر ها و توپولوژي شبكه را تنظيم و تاييد مي كنند .چندين مقاله كارايي بهينه سازي bpn بدست آمده مبتني بر GA را با bpn متداول مقايسه نموده اند .

در مطالعاتي ديگر (Arena, Capponetto,Fortuna 1992 , maniezzo 1994 ,sexton 1998)

GA ها استفاده مي شوند تا ساختار شبكه بهينه را براي هدف مشخصي پيدا كنند .

بيشتر اين مطالعات بر پايه تكنيك جستجوي گراديان مي باشند تا اتصال مقادير وزن را در مدل دست آورند .هر چند ضررهاي قرار گرفتن در يك مي نيمم محلي و كارايي نامتناقض و غير قابل پيش بيني نمي تواند حذف شود .بسياري از مطالعات قبلي صحت