الگوریتم back propagation
 

کسی میتونه الگوریتم back propagation را توضیح بده و در هر مرحله فلسفه کارش رو بگه

سلام

من این چند خط رو از Wikipedia انگلیسی ترجمه کردم. کامل نیست. ولی برای آشنایی بد نیست.

موفق باشید.

انتشار بازگشتی، و یا انتشار خطا، یکی‌ از شیوه های رایج آموزش شبکه‌های عصبی مصنوعی می باشد. این الگوریتم اولین بار در سال ۱۹۸۶ توسط "Arthur E. Bryson" و "Yu-Chi Ho" ارائه شد. اما اولین بار در سال ۱۹۸۶ توسط تلاش‌های "David E. Rumelhart" ،"Geoffrey E. Hinton" و "Ronald J Williams" به رسمیت شناخته شد و به نوعی تبدیل به یک رنسانس در زمینهٔ شبکه های عصبی مصنوعی شد.

این الگوریتم از نوع الگوریتم‌های یادگیری با ناظر می‌باشد، که در آن از قانون دلتا استفاده میشود. در این الگو ریتم به یک آموزگار نیاز داریم که خروجی مناسب برای یک ورودی را بداند و یا اینکه بتواند آن را حساب کند. این الگوریتم بیشتر برای آموزش شبکه های "Feed Forward" مناسب می‌باشد. واژهٔ "back-propagation" مخفف عبارت "backwards propagation of errors" به معنی انتشار بازگشتی خطا‌ها می‌باشد. پیش نیاز استفاده از این الگوریتم این است که تابع فعال سازی مورد استفاده در نویرون‌ها مشتق پذیر باشد.

خلاصه الگوریتم انتشار بازگشتی

1. از مجموعه ای که برای آموزش شبکه عصبی در نظر گرفته شده، یک نمونه را به عنوان ورودی به شبکه عصبی معرفی می کنیم.

2. خروجی تمامی نویرون ها، با خروجی مطلوبمان مقایسه می شوند و برای تمامی نویرون های لایه آخر، میزان خطا محاسبه می شود.

3. برای تمامی نویرون ها محاسبه می شود که خروجی نویرون ها به چه میزان باید تنظیم شوند تا به خروجی مطلوب نزدیک تر شوند.

4. وزن های تمامی نویرون ها به گونه ای تنظیم می شوند تا میزان خطا کمتر شود.

ترجمه و تلخص از ویکی پدیای انگلیسی

الگوریتم back propagation
 

در اين اسلايدها هم توضيح داده شده:3:

توابعی که برای یادگیری Backpropagation استفاده می شوند، چه توابعی هستند؟
(مثل Sigmoid و Tangent hyperbolic)

و اینکه هر کدام چه برتری ای نسبت به بقیه دارد؟

سلام
من بیشتر دیدم با tansigیا logsigیعنی سیگموید دو دویی یا دوقطبی رو هم برا واحهای مخفی هم خروجی بیشتر براش به کار میبرن

به صورت دقیق نمی توان برتری این توابع رو مقایسه کرد. اما باید از توابعی استفاده کنید که هم رفتار خطی داشته باشند و هم رفتار غیر خطی. یعنی اگر شکل تابع رو رسم کنید هم خطی باشد و هم غیر خطی.

خب. همه ی این توابع یه جورایی خطی و یه جورایی غیر خطی هستند. پارامتر های برتری هر کدوم در لایه نهان یا خروجی چیا هستن؟

با سپاس

رفتار خطی یا غیر خطی این توابع در حول نقطه صفر کمی تفاوت داره. اگر در مراحل آنالیز آماری متوجه شدید که داده هاتون وابستگی های خطی با هم دارند بهتره از توابعی که دامنه خطی بودنشون زیاد تره استفاده کنید و اگر نه از توابعی استفاده کنید که خواصیت غیر خطیشون بیشتره. این بحث ها خیلی مربوط به ریاضیات می شه و بهتره برای بررسی در مورد رفتار این نوع توابع و مشتق اونها به کتاب ها و مراجع ریاضی مراجعه کنید.
من یه سرچ کردم چیز خاصی پیدا نکردم، ظاهرا همون جور که گفتم این موضوع خیلی تجربی هستش.

تفاوت الگوريتم Batch و iterative
 

در الگوريتم BP دو روش update داريم
Batch و روش بازگشتي يا همون تكرار تفاوت اين دو روش چيست به صورت كامل مي خواستم مرجعي كه به طور كامل تفاوتهاي اين دو رو نوشته باشه.مرسي

معمولا توابع به این صورتند.

1-^(1+e^-net)

که در اون net برابر سیگمای Wi*Xi هست.