الگوریتم یادگیری نورون مصنوعی Adaline - Artificial Intelligence

farshad_pickup · ۱۰-۱۲-۱۳۹۰, ۱۱:۰۸ قبل از ظهر

سلام دوست من اگر منظورت اینه که این فرمول از کجا اومده که به صورت خلاصه بگم که همون طوری که میدونی گرادیان(مشتق جزئی روی هر درایه یک بردار) نرخ بیشترین تغییرات را نشان می دهد حال اگر منفی گرادیان رو داشته باشیم چیزی که به دست می آوریم بیشترین نرخ کاهش(یا همان نزول در امتداد گرادیان می باشد ) حال اگر شاخص را
least squares error
در نظر بگیریم و بر روی این شاخص نزول در امتداد گرادیان را انجام بدهیم پس کمترین نرخ خطا را خواهیم داشت
حال در این فرمولی که برای آموزش مطرح کرده اید یک ضریب اصلاح (اِتا) مطرح شده که وظیفه تعیین گام رو داره و اگه خیلی کوچیک باشه امکان داره در حین نزول در مینیمم های محلی گیر کنیم و اگر هم بزرگ باشه مشکلات دیگری به وجود میاد در سینتکس شما هم وo نشان دهنده خروجی واقعی و d نشان دهنده خروجی فعلی می باشد(چون ویدرو هاف یک یادگیری با نظارت می باشد ما خروجی های صحیح را میدانیم) پس با این ضرایب وزن را اصلاح می کنیم
البته من الان سر کارم !!!! نتونستم کامل تر توضیح بدم اگه جایی مشکل داشتیبگو رفتم خونه کامل تر توضیح میدم

میشه بگید این عمل ریاضی رو روی چی و چطور انجام بدم؟ این عمل برای آموزش شبکه(در اینجا تک نورون) و باید روی wها انجام بدی
منظورم اینه اینجا w کدوم یک از وزن ها هست؟

كد:

w new = w old + . . .

این کار رو چند بار باید روی چی انجام بدم؟ تا وقتی که شبکه همگرا بشه
به ازای هر ورودی؟ در اینجا هم دو روش داریم یکی بتچ و یکی یکی یکی:دی یعنی یک بار یک دور همه ورودی ها رو وارد می کنی بعد وزن به روز میشه ولی در حالت دیگه یکی یکی به روز میشه

mahdigh · ۱۰-۱۲-۱۳۹۰, ۰۵:۳۹ بعد از ظهر

میشه بگید تابع من چه مشکلی داره؟

كد:

   Dim Valid As Boolean
    Dim c As Integer = 0
    Do
        Valid = True
        c += 1

        For i As Integer = 0 To ListBox1.Items.Count - 1
            Dim s() As String = Microsoft.VisualBasic.Split(ListBox1.Items(i), " ")
            Dim y As Single = (W(1) * CInt(s(0)) + W(2) * CInt(s(1)) + W(3) * 1)
            W(1) += Alpha * CSng(CInt(s(2)) - y) * CSng(CInt(s(0)))
            W(2) += Alpha * CSng(CInt(s(2)) - y) * CSng(CInt(s(1)))
            W(3) += Alpha * CSng(CInt(s(2)) - y) * 1.0
        Next
        For i As Integer = 0 To ListBox1.Items.Count - 1
            Dim s() As String = Microsoft.VisualBasic.Split(ListBox1.Items(i), " ")
            Dim y As Single = (W(1) * CInt(s(0)) + W(2) * CInt(s(1)) + W(3) * 1)
            If CInt(s(2)) = 1 Then
                If y < 1 Then
                    Valid = False
                End If
            Else
                If y >= 1 Then
                    Valid = False
                End If
            End If
        Next
    Loop Until ((Valid) Or (c > 100000))
    If c > 10000 Then
        MsgBox("I Can't Learn!", MsgBoxStyle.Exclamation)
    End If

که در کد، هر کدوم اینا معنیشون اینه:

كد:

s(0) = voroodie avval
s(1) = voroodie dovom
s(2) = khoroojie matloob

این قراره یک AND یا OR ساده رو یاد بگیره. ولی یاد نمیگیره.

برنامه ی کامل رو هم پیوست کردم. (در برنامه Hebb و پرسپترون یاد میگیرن، ولی آدالاین نه...)
من نفهمیدم مشکلش چیه...

سپاس!

farshad_pickup · ۱۰-۱۲-۱۳۹۰, ۱۱:۱۰ بعد از ظهر

قسمت آموزش کدتون درسته (البته من با سینتکس وی بی خیلی آشنا نیستم

)شما شرط valid بودن رو بردارید و فقط با تکرار مثلا 20 تست کنید اگه جواب داد اشکال از مقدار بایاسِ ، متاسفانه من VS ندارم تا کد رو چک کنم ولی اگه میشه تغییر وزن ها رو با ورودی و خروجی برای 12 تکرار اول اینجا بزارید تا دلیل واگرایی رو راحت تر با هم پیدا کنیم

نقل قول:

نوشته اصلي بوسيله mahdigh

میشه بگید تابع من چه مشکلی داره؟

كد:

   Dim Valid As Boolean
    Dim c As Integer = 0
    Do
        Valid = True
        c += 1

        For i As Integer = 0 To ListBox1.Items.Count - 1
            Dim s() As String = Microsoft.VisualBasic.Split(ListBox1.Items(i), " ")
            Dim y As Single = (W(1) * CInt(s(0)) + W(2) * CInt(s(1)) + W(3) * 1)
            W(1) += Alpha * CSng(CInt(s(2)) - y) * CSng(CInt(s(0)))
            W(2) += Alpha * CSng(CInt(s(2)) - y) * CSng(CInt(s(1)))
            W(3) += Alpha * CSng(CInt(s(2)) - y) * 1.0
        Next
        For i As Integer = 0 To ListBox1.Items.Count - 1
            Dim s() As String = Microsoft.VisualBasic.Split(ListBox1.Items(i), " ")
            Dim y As Single = (W(1) * CInt(s(0)) + W(2) * CInt(s(1)) + W(3) * 1)
            If CInt(s(2)) = 1 Then
                If y < 1 Then
                    Valid = False
                End If
            Else
                If y >= 1 Then
                    Valid = False
                End If
            End If
        Next
    Loop Until ((Valid) Or (c > 100000))
    If c > 10000 Then
        MsgBox("I Can't Learn!", MsgBoxStyle.Exclamation)
    End If

که در کد، هر کدوم اینا معنیشون اینه:

كد:

s(0) = voroodie avval
s(1) = voroodie dovom
s(2) = khoroojie matloob

این قراره یک AND یا OR ساده رو یاد بگیره. ولی یاد نمیگیره.

برنامه ی کامل رو هم پیوست کردم. (در برنامه Hebb و پرسپترون یاد میگیرن، ولی آدالاین نه...)
من نفهمیدم مشکلش چیه...

سپاس!