انالیز حساسیت پیشرفته برای شناسایی سری داده های پرت
 

با سلام
چند وقتی است که با شبکه عصبی در حال مدلسازی هستم ولی متاسفانه هیچ وقت نتایجم خوب نمیشه تا این که کسی بهم گفت که داده هات نسبت به هم بدرفتارن و باید با آنالیز حساسیت پیشرفته این سری داده ها رو شناسایی و حذف کنم. متاسفانه این روش رو اصلا بلد نیستم. لطفا اگه کسی میدونه یا کدی داره بهم کمک کنه.فقط 3ماه تا دفاعم مونده :37::37:

سلام دوست من

من نمیدونم بدرفتاری داده ها نسبت به هم به چه معنی هستش. اما فکر میکنم با یکسری تحلیل ها بتونید به نتایج خوبی برسید.

۱- به طور مثال میشه از شبکه SOM برای تحلیل داده ها استفاده کرد. با استفاده از این شبکه میتونید تشخیص بدین که چقدر کلاس ها شما با یکدیگر overlap دارند.
۲- با استفاده از تکنیک هایی مثل LDA داده های خودتون رو تصویر (projection) کنید. برای این کار میتونید از معیار fisher هم استفاده کنید.
۳- تکنیک های دیگری هم مثل OLAP برای تحلیل داده ها میتونه خیلی موثر باشه.
۴- بعضی اوقات داده ها با انتقال به یک فضای جدید میتونن به طور خطی از هم جدا بشن. از روش های بر مبنای کرنل یا روش چند جمله ای یا ... میتونید استفاده کنید.
۵- در بعضی موارد با یک گام Feature generation میشه به نتایج خیلی بهتری رسید.
۶- گاهی ممکنه داده ها دارای ابعاد زیادی باشن که در این مواقع با مساله curse of dimensionality یا overfitting مواجه هستین. روش هایی مثل PCA یا SVD برای کاهش ابعاد میتونه خیلی موثر باشن.
و...

البته فراموش نشه که گاهی شبکه مورد استفاده ممکنه ایراد داشت باشه و برای داده های شما خوب کار نکنه و یا اینکه استراتژی آموزش شما مشکل داشته باشه.

موفق باشید.