کمک برای طراحی یک شبکه عصبی
 

با سلام.
من میخواستم یه شبکه عصبی درست کنم که باهاش بتونم نتیجه کنکور هر فرد رو تخمین بزنم. توی نتیجه کنکور معدل هم مهم هست (مثلا معدل 4 سال کارشناسی توی نتیجه کنکور ارشد هم اثر داده میشه).
67 تا نمونه هم دارم. حالا میخواستم از تجربه شما عزیزان هم بهره مند بشم و نظر شما رو در مورد اینکه شبکه عصبیم چطور باشه رو بپرسم.
تعداد نرونهای ورودی که مشخص هست (به ازای هر درس یکی نرون و یک نرورن اضافه هم برای معدل کارشناسی) تعداد نرونهای خروجی هم همینطور (یکی برای رتبه و یکی برای نمره کل).
حالا مثلا چند تا لایه میانی در نظر بگیرم و اینکه هر کدوم چند تا نرون داشته باشن، یا اینکه وزن یالهام رو در ابتدا تو چه محدوده ای در نظر بگیرم یا اینکه حتی لایه هام چه لایه ای باشن (مثلا خطی یا سیگموید یا ...) و سایر پارامترها (مثل LearnRate) رو میخواستم از تجربه شما عزیزان استفاده کنم...
ممنون میشم کمک کنید منرو..
با تشکر.

سلام:

برای تعیین تعداد لایه های پنهان و تعداد نرون های لایه های پنهان روش خاصی هیج جا ذکر نشده این کار با آزمون و خطا انجام می شه. یعنی از یک لایه پنهان با مثلا 10 نرون استفاده کنید و میزان خطای مدل رو استخراج کنید و در مرحله بعد تعداد نرون ها رو کمتر یا بیشتر کنید و به این ترتیب بهترین شبکه رو پیدا کنید.
درباره activation function بهترین تابع sigmoid هستش چون همه رفتارهای خطی و غیر خطی رو پوشش می ده.
برای انتخاب نرخ یادگیری یا learning rate و مومنتم (مفهوم لحظه ای) و وزن ها هم باید گفت انتخاب اینها کاملا تجربی است اما در منابع اشاره ای به این مقادیر شده و همه نرم افزارهای داده کاوی هم مقادیر اولیه ای برای این پارامترها دارند که پیشنهاد من به استفاده از این مقادیر ابتدایی هست.