مقدمه در سالیان اخیر شاهد حرکتی مستمر از تحقیقات صرفاً تئوری به تحقیقات کاربردی علی الخصوص در پردازش اطلاعات مسائلی که برای آنها راه حلی موجود نیست و یا براحتی قابل حل نیستند ، بوده ایم . با عنایت باین حقیقت ، علاقه فزاینده ای در توسعه تئوریک سیستمهای دینامیکی هوشمند که مبتنی بر داده های تجربی هستند ، ایجاد شده است .“ شبکه های عصبی مصنوعی “ جزء این دسته از سیستمهای دینامیکی قرار دارند که با پردازش روی داده های تجربی دانش یا قانون نهفته در ورای داده ها را به ساختار شبکه منتقل میکند . به همین خاطر به این سیستمها هوشمند گویند چرا که بر اساس محاسبات روی داده های عددی یا مثالها قوانین کلی را فرا میگیرند . این سیستمهای مبتنی بر هوش محاسباتی سعی در مدلسازی ساختار نرو-سیناپتیکی مغز بشر دارند .   انگیزه های بیولوژیکی تحقیقات و علاقه مندی به شبکه های عصبی از زمانی شروع شد که مغز به عنوان یک سیستم دینامیکی با ساختار موازی و پردازشگری کاملاً مغایر با پردازشگرهای متداول شناخته شد . مغز به عنوان یک سیستم پردازش اطلاعاتی با ساختار موازی از 100 تریلیون نرونهای به هم مرتبط تشکیل شده است . نرونها ساده ترین واحد ساختاری سیستمهای عصبی هستند. بافتهایی که عصب نامیده می شوند ، اجتماعی از نرونها می باشند . این نرونها اطلاعات و پیامها را از یک قسمت بدن به قسمت دیگر منتقل میکنند . بیشتر نرونها از سه قسمت اساسی تشکیل شده اند : 1) بدنه سلول که شامل هسته و قسمتهای حفاظتی دیگر میباشد. 2) دندریت 3) اکسون که دوتای آخر عناصر ارتباطی نرون را تشکیل می دهند . پیامهای عصبی تنها بصورت یکطرفه حرکت می کنند : از دندریتها به بدنه سلول و سپس به اکسون.   مدل تک ورودی یک نرون کوچکترین واحد پردازشگر اطلاعات است. شکل زیر ساختار یک نرون تک ورودی را نشان می دهد اسکالرهای p وa به ترتیب ورودی و خروجی می باشند .   سیستمهای یادگیر سیستمهای یادگیر سیستمهایی هستند که رفتارشان را جهت دستیابی به هدف و مقصدی خاص صرفاً با مشاهده عملکردشان می توانند بهبود بخشند .زمانی به پروسه یادگیری نیاز است که اطلاعات کامل در مورد اهداف موجود نباشد . به پروسه یادگیری نیاز است چون که اطلاعات (ارتباط ورودی و خروجی) کاملاً مشخص نیست . رفتار سیستمهای یادگیر توسط الگوریتمهای بازگشتی بیان می شود و عموماً توسط معادلات تفاضلی (دیفرانسیلی) بیان می شوند .این الگوریتمها روی اطلاعات موجود آنگونه پردازش می کنند که شاخص اجرایی مشخص شده ای که عموماً تقریبی است از اهداف خاص که مقصود پروسه یادگیری می باشد ، بهینه گردد .   در اين بخش دسته از شبکه هاي عصبي موسوم به آدالاين که متشکل از يک نرون با تابع تبديل خطي مي باشد مورد مطالعه و بررسي قرار مي گيرد. يادگيري اين شبکه ها از نوع باناظر مي باشد. پارامترهاي شبکه طوري آموزش مي بينند(تنظيم مي شوند) تا اينکه شاخص اجرايي بهينه شود. در ابتدا پايه هاي تئوري بهينه سازي مرور ميشود و سپس قانون يادگيري LMS (Least Mean Square )معروف به قانون يادگيري ويدرو_هوف براي شبکه هاي آدالاين فرموله مي گردد. اين قانون تقريبي از الگوريتم بيشترين شيب نزول مي باشد که در آن شاخص اجرايي ميانگين مجذور خطا مي باشد.