فرق بین erm و srm - Artificial Intelligence

dbdb2458 · ۰۴-۱۰-۱۳۹۲, ۰۵:۲۳ بعد از ظهر

چه فرقی میان emprical risk minimization و structural risk minimization وجود داره؟

dbdb2458 · ۰۴-۱۰-۱۳۹۲, ۰۶:۰۱ بعد از ظهر

چرا کسی جواب نمیده؟؟؟؟؟؟

kamran_kenzo · ۰۴-۱۰-۱۳۹۲, ۰۶:۴۵ بعد از ظهر

نقل قول:

نوشته اصلي بوسيله dbdb2458

چه فرقی میان emprical risk minimization و structural risk minimization وجود داره؟

در emirical risk minimization هدف اندازه گیری میزان باند خطا برای فرضیه (مدل) مورد نظر است. با توجه به اینکه اطلاعتی همچون توزیع واقعی داده ها مشخص نیست، باند خطا با استفاده از داده های آموزشی تقریب زده می شود که به همین خاطر به آن empirical risk می گویند.
از بین فرضیه های ممکن برای یک مسئله، فرضیه ای انتخاب می شود که کمترین empirical risk را داشته باشد. پس با در نظر گرفتن یک رابطه بهینه سازی فرضیه ای که مقدار این ریسک را کم کند انتخاب می شود.

از طرفی مشکل بیش برازش (Overfitting) در خیلی از مسائل یادگیری ماشین وجود دارد. برای کاهش این مشکل از structural risk minimization در رابطه بهینه سازی استفاده می شود تا فرضیه انتخاب شود که در آن این مشکل کمتر است و فرضیه عمومیت بیشتری دارد. در واقع این ریسک از empirical risk کلی تر است.
در یک جمله می توان تفاوت این دو را به این صورت بیان نمود:
empirical risk بدون در نظر گرفتن مشکل بیش برازش سعی می کند فرضیه ای را انتخاب کند که کمترین ریسک را روی داده های آموزشی داشته باشد در حالی که structural risk نه تنها کار empirical risk را انجام می دهد (انتخاب فرضیه با کمترین ریسک ) بلکه سعی می کند فرضیه انتخاب شده مشکل overfitting را نداشته و عمومیت بیشتری داشته باشد.