Astaraki

يك روش آماري مبتني بر پيكره براي جداسازي واژه هاي به هم چسبيده

چکیده :
در این مقاله، یک روش آماری مبتنی بر پیکره برای شناسایی واژه‌های به هم چسبیده معرفی شد. این روش، با استفاده از معیار احتمال شرطی متقارن تعیین می‌کند که آیا یک عنصر متنی، یک واژه‌ی کامل است یا مجموعه‌ای از واژه‌های به هم چسبیده است. روش پیشنهادی روی یک مجموعه‌ی 18000 تایی از اخبار ورزشی مورد آزمایش قرار گرفت و نتایج قابل قبولی را نشان داد. به ازای هر دو آستانه‌ی 0.001 و 0.0001 تعداد نمونه‌هایی که به درستی از هم جدا شدند به کل نمونه‌های جداشده نسبت قابل قبولی (بیش از 80 درصد در مورد نمونه‌های جداشده به دو بخش) را نشان داد.


كليد واژه:
پیکره‌ی متنی، تعیین مرز واژه‌ها، با‌هم‌آیی، احتمال شرطی متقارن

فايل ضميمه

A New Corpus Based Statistical Method for Splitting Jointed Words.pdf (209.2 كيلو بايت, 185 نمايش)

__________________

تعرفه ارزان تبلیغات در اولین و بزرگترین سایت هوش مصنوعی ایران !
با بیش از صد و چهل هزار کاربر!