نمايش پست تنها
قديمي ۰۴-۱۰-۱۳۹۲, ۰۶:۴۵ بعد از ظهر   #3 (لینک دائم)
kamran_kenzo Male
عضو فوق فعال
 
آواتار kamran_kenzo
 
تاريخ عضويت: تير ۱۳۸۹
محل سكونت: Tehran
پست ها: 190
تشكرها: 4
91 تشكر در 74 پست
پيش فرض

نقل قول:
نوشته اصلي بوسيله dbdb2458 نمايش پست
چه فرقی میان emprical risk minimization و structural risk minimization وجود داره؟
در emirical risk minimization هدف اندازه گیری میزان باند خطا برای فرضیه (مدل) مورد نظر است. با توجه به اینکه اطلاعتی همچون توزیع واقعی داده ها مشخص نیست، باند خطا با استفاده از داده های آموزشی تقریب زده می شود که به همین خاطر به آن empirical risk می گویند.
از بین فرضیه های ممکن برای یک مسئله، فرضیه ای انتخاب می شود که کمترین empirical risk را داشته باشد. پس با در نظر گرفتن یک رابطه بهینه سازی فرضیه ای که مقدار این ریسک را کم کند انتخاب می شود.

از طرفی مشکل بیش برازش (Overfitting) در خیلی از مسائل یادگیری ماشین وجود دارد. برای کاهش این مشکل از structural risk minimization در رابطه بهینه سازی استفاده می شود تا فرضیه انتخاب شود که در آن این مشکل کمتر است و فرضیه عمومیت بیشتری دارد. در واقع این ریسک از empirical risk کلی تر است.
در یک جمله می توان تفاوت این دو را به این صورت بیان نمود:
empirical risk بدون در نظر گرفتن مشکل بیش برازش سعی می کند فرضیه ای را انتخاب کند که کمترین ریسک را روی داده های آموزشی داشته باشد در حالی که structural risk نه تنها کار empirical risk را انجام می دهد (انتخاب فرضیه با کمترین ریسک ) بلکه سعی می کند فرضیه انتخاب شده مشکل overfitting را نداشته و عمومیت بیشتری داشته باشد.
kamran_kenzo آفلاين است   پاسخ با نقل قول
از kamran_kenzo تشكر كرده است:
dbdb2458 (۰۴-۱۰-۱۳۹۲)