الگوریتم back propagation - Artificial Intelligence

Matin_Delphi · ۱۲-۲۵-۱۳۸۸, ۰۱:۲۰ بعد از ظهر

کسی میتونه الگوریتم back propagation را توضیح بده و در هر مرحله فلسفه کارش رو بگه

**pasmod** · ۱۲-۲۷-۱۳۸۸, ۰۳:۳۲ بعد از ظهر

سلام

من این چند خط رو از Wikipedia انگلیسی ترجمه کردم. کامل نیست. ولی برای آشنایی بد نیست.

موفق باشید.

انتشار بازگشتی، و یا انتشار خطا، یکی‌ از شیوه های رایج آموزش شبکه‌های عصبی مصنوعی می باشد. این الگوریتم اولین بار در سال ۱۹۸۶ توسط "Arthur E. Bryson" و "Yu-Chi Ho" ارائه شد. اما اولین بار در سال ۱۹۸۶ توسط تلاش‌های "David E. Rumelhart" ،"Geoffrey E. Hinton" و "Ronald J Williams" به رسمیت شناخته شد و به نوعی تبدیل به یک رنسانس در زمینهٔ شبکه های عصبی مصنوعی شد.

این الگوریتم از نوع الگوریتم‌های یادگیری با ناظر می‌باشد، که در آن از قانون دلتا استفاده میشود. در این الگو ریتم به یک آموزگار نیاز داریم که خروجی مناسب برای یک ورودی را بداند و یا اینکه بتواند آن را حساب کند. این الگوریتم بیشتر برای آموزش شبکه های "Feed Forward" مناسب می‌باشد. واژهٔ "back-propagation" مخفف عبارت "backwards propagation of errors" به معنی انتشار بازگشتی خطا‌ها می‌باشد. پیش نیاز استفاده از این الگوریتم این است که تابع فعال سازی مورد استفاده در نویرون‌ها مشتق پذیر باشد.

خلاصه الگوریتم انتشار بازگشتی

1. از مجموعه ای که برای آموزش شبکه عصبی در نظر گرفته شده، یک نمونه را به عنوان ورودی به شبکه عصبی معرفی می کنیم.

2. خروجی تمامی نویرون ها، با خروجی مطلوبمان مقایسه می شوند و برای تمامی نویرون های لایه آخر، میزان خطا محاسبه می شود.

3. برای تمامی نویرون ها محاسبه می شود که خروجی نویرون ها به چه میزان باید تنظیم شوند تا به خروجی مطلوب نزدیک تر شوند.

4. وزن های تمامی نویرون ها به گونه ای تنظیم می شوند تا میزان خطا کمتر شود.

ترجمه و تلخص از ویکی پدیای انگلیسی

نقل قول:

نوشته اصلي بوسيله Matin_Delphi

کسی میتونه الگوریتم back propagation را توضیح بده و در هر مرحله فلسفه کارش رو بگه

**Astaraki** · ۱۲-۲۷-۱۳۸۸, ۰۴:۱۰ بعد از ظهر

در اين اسلايدها هم توضيح داده شده

mahdigh · ۰۹-۱۴-۱۳۸۹, ۰۵:۲۸ بعد از ظهر

توابعی که برای یادگیری Backpropagation استفاده می شوند، چه توابعی هستند؟
(مثل Sigmoid و Tangent hyperbolic)

و اینکه هر کدام چه برتری ای نسبت به بقیه دارد؟

sahar.z · ۰۲-۲۹-۱۳۹۰, ۰۲:۵۶ بعد از ظهر

نقل قول:

نوشته اصلي بوسيله mahdigh

توابعی که برای یادگیری Backpropagation استفاده می شوند، چه توابعی هستند؟
(مثل Sigmoid و Tangent hyperbolic)

و اینکه هر کدام چه برتری ای نسبت به بقیه دارد؟

سلام
من بیشتر دیدم با tansigیا logsigیعنی سیگموید دو دویی یا دوقطبی رو هم برا واحهای مخفی هم خروجی بیشتر براش به کار میبرن

**taha_mokfi** · ۰۲-۲۹-۱۳۹۰, ۰۴:۲۸ بعد از ظهر

نقل قول:

نوشته اصلي بوسيله mahdigh

توابعی که برای یادگیری backpropagation استفاده می شوند، چه توابعی هستند؟
(مثل sigmoid و tangent hyperbolic)

و اینکه هر کدام چه برتری ای نسبت به بقیه دارد؟

به صورت دقیق نمی توان برتری این توابع رو مقایسه کرد. اما باید از توابعی استفاده کنید که هم رفتار خطی داشته باشند و هم رفتار غیر خطی. یعنی اگر شکل تابع رو رسم کنید هم خطی باشد و هم غیر خطی.

mahdigh · ۰۲-۲۹-۱۳۹۰, ۰۹:۴۹ بعد از ظهر

خب. همه ی این توابع یه جورایی خطی و یه جورایی غیر خطی هستند. پارامتر های برتری هر کدوم در لایه نهان یا خروجی چیا هستن؟

با سپاس

**taha_mokfi** · ۰۲-۲۹-۱۳۹۰, ۱۰:۳۳ بعد از ظهر

رفتار خطی یا غیر خطی این توابع در حول نقطه صفر کمی تفاوت داره. اگر در مراحل آنالیز آماری متوجه شدید که داده هاتون وابستگی های خطی با هم دارند بهتره از توابعی که دامنه خطی بودنشون زیاد تره استفاده کنید و اگر نه از توابعی استفاده کنید که خواصیت غیر خطیشون بیشتره. این بحث ها خیلی مربوط به ریاضیات می شه و بهتره برای بررسی در مورد رفتار این نوع توابع و مشتق اونها به کتاب ها و مراجع ریاضی مراجعه کنید.
من یه سرچ کردم چیز خاصی پیدا نکردم، ظاهرا همون جور که گفتم این موضوع خیلی تجربی هستش.

pedram28 · ۰۹-۲۷-۱۳۹۰, ۱۱:۴۰ بعد از ظهر

در الگوريتم BP دو روش update داريم
Batch و روش بازگشتي يا همون تكرار تفاوت اين دو روش چيست به صورت كامل مي خواستم مرجعي كه به طور كامل تفاوتهاي اين دو رو نوشته باشه.مرسي

erfan_com · ۱۰-۳-۱۳۹۰, ۱۰:۲۱ بعد از ظهر

معمولا توابع به این صورتند.

1-^(1+e^-net)

که در اون net برابر سیگمای Wi*Xi هست.