Artificial Intelligence - هوش مصنوعی  
انجمن را در گوگل محبوب کنيد :

بازگشت   Artificial Intelligence - هوش مصنوعی > داده کاوی > داده كاوی(Data mining)


 
تبليغات سايت
Iranian Association for the Advancement of Artificial Intelligence
ارسال تاپيک جديد  پاسخ
 
LinkBack ابزارهاي تاپيک نحوه نمايش
قديمي ۱۰-۱۴-۱۳۹۰, ۰۹:۲۶ قبل از ظهر   #1 (لینک دائم)
عضو فوق فعال
 
آواتار article
 
تاريخ عضويت: مهر ۱۳۸۹
پست ها: 31
تشكرها: 7
14 تشكر در 7 پست
پيش فرض

نقل قول:
نوشته اصلي بوسيله aminkop نمايش پست
سلام
1.بطور کلی که شما باید با پیش پردازش و بعد مباحث مربوط به feature selection ویژگی های مناسب را شناسایی کنید یا اینکه در کاربرد هایی از خبره استفاده می کنند حالا اگر بخواهید از بعضی تکنیک های طبقه بندی(مثلا درخت های تصمیم, چون خودشون معیار تفکیک دارند) یا در مواردی که کاهش ابعاد می دهید دیگه ویژگی های مهم خودشون را بهتر نشان می دهند لازم نیست زیاد از ابتدای کار نگرانشون باشید منظورم این بود که در این مرحله با این مباحث زیاد درگیر نشوید (البته سریعترین راه این است که شما بر اساس مقاله معتبری وِیژگی هایی که استفاده کرده را انتخاب کنید و ببنید تا چه اندازه در اختیار دارید و یا می توانید استخراج کنید)

2.در داده کاوی نمیشه گفت از چه نرم افزاری دلم می خواد استفاده کنم بلکه ابتدا نیاز سنجی می کنید بعد میگید بر اساس کاربرد و کارائی کدام را بر میدارم مگر اینکه مورد مشترکی از لحاظ کارائی باشه که حالا بر اساس معیار های خودتون موردی را انتخاب می کنید.

سعی می کنم مختصر توضیحی برای نحوه انتخاب ابزار بدهم:
زمانی که شما نیاز دارید الگوریتم های متفاوتی را با هم مقایسه کنید یا کار پژوهشی است یا بیشترین ساپورت از الگوریتم ها مثلا از Weka استفاده می کنید. اگر کار تجاری است و ارتباط با پایگاه داده های متفاوت و یا داده کاوی آنلاین لازم دارید و خروجی جالب می خواهید می روید سراغ Celementine. اگر می خواهید در KDDCup یا مسابقات داده کاوی شرکت کنید شک نکنید که باید ازRapidMiner استفاده کنید.و موارد دیگر, البته موارد زیادی را برای تصمیم گیری در هر مرحله هم میشه در نظر گرفت و شاید لازم باشه الگوریتمی را تغییر دهید یا به نرم افزاری اضافه کنید که باید سهولت و امکان آن را در نظر بگیرید پس می بینید که صرف چندم بودن در یک رنکینگ نمیشه تصمیم گیری کرد.
هیچ اصراری برای استفاده از ابزار خاصی ندارم ولی مثلا همین جا در این کار شما فک نکنم چند الگوریتمی که می خواهیم ازش استفاده کنیم در celementine باشه.

3. Outlier Detection یکی از مباحث جالب در داده کاوی است اما outlier (یا برون هشته) یعنی داده ای خارج از بازه عمومی داده ها یا الگوی داده ای با رفتار متفاوت یا غیر طبیعی از الگوی عمومی داده ها که البته میتونه نشان دهنده داده نویز هم باشه . تشخیص این مورد یا موارد کاربرد های زیادی در حوزه های متفاوت داره مثلا در پزشکی رفتار غیر عادی یکسری پروتئین می تونه نشاندهنده بیماری جدیدی باشه در ورزش میشه یک بازیکن با کارائی بالا یا خیلی پائین را تشخیص داد در مباحث مرتبط با تجارت, بیمه, بانکداری میشه کلاهبرداری (fraud detection) انجام داد یک مثال جالب براتون از کلاهبرداری در بانکداری بزنم: اگر یک کارمند از حساب هر نفر روزانه فقط یک ریال برداره هیچ جستجوی آماری یا کوئری خاصی نمی توانید در نظر گرفته باشید که این کار را تشخیص بده حتی صاحبان حساب هم هرگز برای این کسری پیگیری نخواهند کرد ولی این فرد توانسته مبالغ هنگفتی کلاهبرداری کنه اما داده کاوی براحتی این الگوها را می تواند جدا کند.

اما تکنیک های مرسوم که البته بر اساس ساختارهایی دسته بندی می شوند که وارد بحثش نمی شوم که اغلب این موارد هستند:

box plot (اگر داده ها از یک محدوده خاصی از داده های عمومی دور باشه outlier هستند).
رگرسیون (یک خطی که بصورت رگرسیونی بیشتری پوشش روی داده ها را می دهد در نظر می گیرند و موارد خیلی دور افتاده مشکوک به outlier هستند ) که میتونه چند گانه هم باشه.
clustering (از روشهای خوشه بندی برای تعیین موارد outlier استفاده میشه) که در این میان بعضی روش ها نیاز به تعین تعداد خوشه ندارند و خودکار عمل می کنند مانند همان روش DBScan که قبلا گفتم.
مبتی بر توضیع (مثلا تعیین می کنید عموما داده هاتون از یک توضیع خاصی پیروی می کنه مثل توضیع نرمال بعد موارد خارج از آن میشه outlier)
classification (برای استفاده از این مورد باید قبلا در داده هاتون موارد و الگوهای خاص را شناسایی کرده باشید و لیبل زده باشید که آموزش بدهید و پس از آن بتوان موارد outlier را تشخیص داد )
منابع هم زیاد است کافی است در اینترنت جستجو کنید.

4. بله فعلا مناسب به نظر می رسه (البته نگاه به مقاله را هم تاکید کردم دیگه).


امیدوارم مفید واقع گردد.
سلام اقاي aminkop
ممنون از پاسختون:
مي خواستم بدونم اون قسمتي كه گفتيد اگر شخصي روزانه از حساب هركس 1000 تومان بردارد هيچ روش اماري و كويري نميتواند ان را شناسايي كند اما الگوريتم هاي داده كاوي اين كا رو انجام ميدن.منظورتون از الگوريتم هاي داده كاوي ميتون اين باشه كه اگه از خوشه بندي استفاده شده تعداد كم خوشه ها ميتون مورد مشكوك و ا جرم باشه؟اگه مورد مشكوك چه جوري اون مورد مشكوكو بررسي ميكنن؟؟؟؟ممنون
__________________
انسان به دليل نداشتن حوصله، كارش به طلاق مي كشد و بر اثر نداشتن حافظه، دوباره ازدواج مي كند.((مارس گرانشو))
article آفلاين است   پاسخ با نقل قول

  #ADS
نشان دهنده تبلیغات
تبليغگر
 
 
 
تاريخ عضويت: -
محل سكونت: -
سن: 2010
پست ها: -
 

نشان دهنده تبلیغات is online  
قديمي ۱۱-۱۲-۱۳۹۰, ۰۴:۱۴ قبل از ظهر   #2 (لینک دائم)
عضو فعال
 
آواتار Goee
 
تاريخ عضويت: اسفند ۱۳۸۹
پست ها: 10
تشكرها: 1
3 تشكر در 3 پست
پيش فرض

نقل قول:
نوشته اصلي بوسيله article نمايش پست
سلام اقاي aminkop
ممنون از پاسختون:
مي خواستم بدونم اون قسمتي كه گفتيد اگر شخصي روزانه از حساب هركس 1000 تومان بردارد هيچ روش اماري و كويري نميتواند ان را شناسايي كند اما الگوريتم هاي داده كاوي اين كا رو انجام ميدن.منظورتون از الگوريتم هاي داده كاوي ميتون اين باشه كه اگه از خوشه بندي استفاده شده تعداد كم خوشه ها ميتون مورد مشكوك و ا جرم باشه؟اگه مورد مشكوك چه جوري اون مورد مشكوكو بررسي ميكنن؟؟؟؟ممنون

خوشه ها صرفا الگویی از تقلب ها میتونند باشند.تو به تصاویر بدست امده میتونی تجمع تراکنش ها را تحلیل کنی
مثلا 40 درصد از تراکنش ها در یک خوشه قرار دارند که این ویژگیها رو دارند محل انجام :شعبه های استان تهران و مبلغ بیش از 40 هزار تومان

خوب در مرحله بعد میتونی با الگوریتم های دسته بندی Classification پیش بینی تقلب تک تک تراکنش ها را بدست بیاری
اینکار را میتونی بر روی هر خوشه یا به صورت کلی انجام بدی البته انجام بر روی هر خوشه مطمئنا دقت بیشتری باید داشته باشه
Goee آفلاين است   پاسخ با نقل قول
پاسخ



كاربران در حال ديدن تاپيک: 1 (0 عضو و 1 مهمان)
 

قوانين ارسال
You may not post new threads
You may not post replies
You may not post attachments
You may not edit your posts

BB code is فعال
شکلکها فعال است
كد [IMG] فعال است
كدهاي HTML غير فعال است
Trackbacks are فعال
Pingbacks are فعال
Refbacks are فعال




زمان محلي شما با تنظيم GMT +3.5 هم اکنون ۰۹:۴۸ بعد از ظهر ميباشد.


Powered by vBulletin® Version 3.8.3
Copyright ©2000 - 2025, Jelsoft Enterprises Ltd.
Search Engine Friendly URLs by vBSEO 3.1.0 ©2007, Crawlability, Inc.

Teach and Learn at Hexib | Sponsored by www.Syavash.com and Product In Review

استفاده از مطالب انجمن در سایر سایت ها، تنها با ذکر انجمن هوش مصنوعي به عنوان منبع و لینک مستقیم به خود مطلب مجاز است

Inactive Reminders By Icora Web Design