دانلود پایان نامه رشته کامپیوتر داده کاوی و کاوش قوانین ارتباطی

اختصاصی از نیک فایل دانلود پایان نامه رشته کامپیوتر داده کاوی و کاوش قوانین ارتباطی دانلود با لینک مستقیم و پر سرعت .

چکیده:

در دو دهه قبل توانایی های فنی بشر برای تولید و جمع آوری داده‌ها به سرعت افزایش یافته است. عواملی نظیر استفاده گسترده از بارکد برای تولیدات تجاری، به خدمت گرفتن کامپیوتر در کسب و کار، علوم، خدمات  دولتی و پیشرفت در وسائل جمع آوری داده، از اسکن کردن متون و تصاویر تا سیستمهای سنجش از دور ماهواره ای، در این تغییرات نقش مهمی دارند.

 

بطور کلی استفاده همگانی از وب و اینترنت به عنوان یک سیستم اطلاع رسانی جهانی ما را مواجه با حجم زیادی از داده و اطلاعات می‌کند. این رشد انفجاری در داده‌های ذخیره شده، نیاز مبرم وجود تکنولوژی های جدید و ابزارهای خودکاری را ایجاد کرده که به صورت هوشمند به انسان یاری رسانند تا این حجم زیاد داده را به اطلاعات و دانش تبدیل کند. داده کاوی به عنوان یک راه حل برای این مسائل مطرح می باشد. در یک تعریف غیر رسمی داده کاوی فرآیندی است، خودکار برای استخراج الگوهایی که دانش را بازنمایی می کنند، که این دانش به صورت ضمنی در پایگاه داده های عظیم، انباره داده  و دیگر مخازن بزرگ اطلاعات، ذخیره شده است.

 

به لحاظ اینکه در چند سال اخیر مبحث داده کاوی و اکتشاف دانش موضوع بسیاری از مقالات و کنفرانسها قرار گرفته و نرم افزار های آن در بازار به شدت مورد توجه قرار گرفته، از اینرو در مقاله سعی بر آن شده تا گذری بر آن داشته باشیم.در این پایان نامه درفصل مروری بر داده کاوی خواهیم داشت . که به طور عمده به تاریخچه ، تعاریف، کاربردها وارتباط آن با انبار داده و OLAP خواهیم پرداخت. در پایان فصل مراحل فرایند کشف دانش از پایگاه داده ها را ذکر کردیم که داده کاوی یکی از مراحل آن است.در فصل 2 یکی از شیوه های داده کاوی که از سبد خرید گرفته شده  است توضیح داده شده است . در این فصل به شرح قوانین ارتباطی خواهیم پرداخت که در آن بعد از دسته بندی الگوریتمها ، الگوریتم Apriori ( که یک الگوریتم پایه در این زمینه است ) و الگوریتم FP-Growth ( یک الگوریتم جدید میباشد) را با شرح یک مثال توضیح می دهیم و در آخر آن دو را با هم مقایسه می کنیم . در فصل 3 مباحث وب کاوی و متن کاوی را که در بسیاری از مراجع جزء کاربردهای داده کاوی به حساب می آید شرح داده خواهد شد.

 

 

کلمات کلیدی:

وب کاوی

متن کاوی

داده کاوی

دیتا ماینینگ

کاوش قوانین ارتباطی داده کاوی

 

 

 

 

مقدمه:

امروزه با گسترش سیستم‌های پایگاهی و حجم بالای داده‌های ذخیره شده در این سیستم‌ها، نیاز به ابزاری است تا بتوان داده‌های ذخیره شده را پردازش کرد و اطلاعات حاصل از این پردازش را در اختیار کاربران قرار داد.با استفاده از پرسش‌های ساده در SQL و ابزارهای گوناگون گزارش‌گیری معمولی، می‌توان اطلاعاتی را در اختیار کاربران قرار داد تا بتوانند به نتیجه‌گیری در مورد داده‌ها و روابط منطقی میان آنها بپردازند. امّا وقتی که حجم داده‌ها بالا باشد، کاربران هرچند زبر دست و با تجربه باشند نمی‌توانند الگوها مفید را در میان حجم انبوه داده‌ها تشخیص دهند و یا اگر قادر به این کار هم باشند، هزینه عملیات از نظر نیروی انسانی و مادی بسیار بالا است. از سوی دیگر، کاربران معمولاً فرضیه‌ای را مطرح می‌کنند و سپس بر اساس گزارشات مشاهده شده به اثبات یا رد فرضیه می‌پردازند، در حالی که امروزه نیاز به روشهایی است که اصطلاحاً به کشف دانش   بپردازند یعنی با کمترین دخالت کاربر و بصورت خودکار الگوها و رابطه‌های منطقی را بیان نمایند.

 

داده کاوی  یکی از مهمترین این روشها است که به الگوهای مفید در داده‌ها با حداقل دخالت کاربران شناخته می‌شوند واطلاعاتی را در اختیار کاربران و تحلیل گران قرار می‌دهند تا براساس آن تصمیمات مهم و حیاتی در سازمانها اتخاذ شوند.اصطلاح داده کاوی زمانی بکار برده می‌شود که با حجم بزرگی از داده‌ها، در حد مگا یا ترابایت، مواجه باشیم. در تمامی منابع داده کاوی بر این مطلب تأکید شده است. هرچه حجم داده‌ها بیشتر و روابط آنها پیچیده تر باشد دسترسی به اطلاعات نهفته در میان داده ها مشکل تر می‌شود و نقش داده کاوی بعنوان یکی از روش های کشف دانش، روشن‌تر می‌گردد.داده کاوی بطور همزمان از چندین رشته علمی بهره می‌برد نظیر: تکنولوژی پایگاه داده، هوش مصنوعی، یادگیری ماشین، شبکه‌های عصبی، آمار، الگو، سیستم‌های مبتنی بر دانش ، حصول دانش ، بازیابی اطلاعات ، محاسبات سرعت بالا  و بازنمایی بصری داده .

 

 

 

 

فهرست مطالب

چکیده 2

فصل1: مقدمه ای بر داده کاوی   13

1-1 تعریف داده کاوی   . 15

2-1 تاریخچه داده کاوی   16

3-1 چه چیزی سبب پیدایش داده کاوی شده است؟   17

4-1 اجزای سیستم داده کاوی   . 19

5-1 جایگاه داده کاوی در میان علوم مختلف   21

6-1 قابلیتهای داده کاوی   . 22

7-1 چرا به داده کاوی نیاز داریم؟   . 23

8-1 داده کاوی چه کارهایی نمی تواند انجام دهد؟   25

9-1 کاربردهای داده کاوی   . 25

1-9-1 کاربردهای پیش بینی کننده   . 27

2-9-1 کاربردهای توصیف کننده   27

10-1 ابزارهای تجاری داده کاوی   . 28

11-1 داده کاوی و انبار داده ها   . 29

1-11-1 تعاریف انبار داده   29

2-11-1 چهار خصوصیت اصلی انبار داده   . 30

3-11-1 موارد تفاوت انبار داده و پایگاه  داده   31

12-1 داده کاوی و OLAP   . 33

1-12-1 OLAP   . 33

2-12-1 انواع OLAP   . 34

13-1 مراحل فرایند کشف دانش از پایگاه داده ها   . 34

1-13-1 انبارش داده ها   35

2-13-1 انتخاب داده ها   36

3-13-1 پاکسازی- پیش پردازش- آماده سازی   36

4-13-1 تبدیل داده ها   36

5-13-1 کاوش در داده ها (Data Mining)   . 37

6-13-1 تفسیر نتیجه   38

 

فصل 2: قوانین ارتباطی   . 39

1-2 قوانین ارتباطی   40

2-2 اصول پایه   . 41

1-2-2 شرح مشکل جدی   . 41

2-2-2 پیمایش فضای جستجو   . 43

3-2-2 مشخص کردن درجه حمایت مجموعه اقلام   . 45

3-2 الگوریتمهای عمومی   45

1-3-2 دسته بندی   45

2-3-2 BFS و شمارش رویداد ها   . 46

3-3-2 BFS و دونیم سازی TID-list   . 47

4-3-2 DFS و شمارش رویداد   47

5-3-2 DFS و دو نیم سازی TID-list   48

4-2 الگوریتم Apriori   48

1-4-2 مفاهیم کلیدی   . 48

2-4-2 پیاده سازی الگوریتم Apriori   49

3-4-2 معایب Apriori و رفع آنها   . 54

5-2 الگوریتم رشد الگوی تکرارشونده   55

1-5-2 چرا رشد الگوی تکرار سریع است؟   . 58

6-2 مقایسه دو الگوریتم Apriori و FP-growth   59

7-2 تحلیل ارتباطات   63

 

فصل 3: وب کاوی و متن کاوی   . 65

1-3 وب کاوی   . 66

1-1-3 الگوریتمهای هیتس و لاگسام   . 69

2-1-3 کاوش الگوهای پیمایش مسیر   76

2-3 متن کاوی   . 90

1-2-3 کاربردهای متن کاوی   . 92

1-1-2-3 جستجو و بازیابی   95

2-1-2-3 گروه بندی و طبقه بندی   97

3-1-2-3 خلاصه سازی   99

4-1-2-3 روابط میان مفاهیم   . 101

5-1-2-3 یافتن و تحلیل گرایشات  

6-1-2-3 برچسب زدن نحوی (pos)   .

7-1-2-3 ایجاد Thesaurus و آنتولوژی به صورت اتوماتیک   . 107

2-2-3 فرایند متن کاوی   .

3-2-3 روشهای متن کاوی   . 110

مراجع   . 116

 

 

فهرست اشکال

1-1 مراحل فرایند کشف دانش   17

2-1 سیر تکاملی صنعت پایگاه داده   19

3-1 معماری یک نمونه سیستم داده کاوی   . 20

4-1 نرخ رشد اطلاعات   . 24

5-1 کاربرد پیش بینی کننده   27

6-1 داده ها از انبار داده ها استخراج می گردند   32

7-1 داده ها از از چند پایگاه داده  استخراج می گردند   32

1-2 شبکه‌ای برای     .

3-2 دسته بندی الگوریتمها   46

4-2 پایان الگوریتم Apriori   52

5-2 درخت الگوی تکرار   57

6-2 اندازه گیری کارکرد درجه حمایت برای پایگاه داده D1 40K   61

7-2 اندازه گیری Apriori با درجه حمایت/تراکنش   . 62

8-2 اندازه گیری FP-growth با درجه حمایت/تراکنش   62

1-3 مقداردهی اولیه الگوریتم HITS   72

2-3 مثالی از الگوهای پیمایش   . 80

3-3 فرایند متن کاوی   . 86

4-3 مثال یافتن روابط   . 88

 

 

فهرست جداول

1-2 کاوش FP-tree با ایجاد پایگاه های الگوشرطی   . 58

2-2 پارامترها   . 59

3-2 نتایج برای فاکتور درجه حمایت 5%   60

4-2 نتایج برای D1 150K با درجه حمایت   . 61

1-3 تراکنش های توصیف شده توسط مجموعه ای از URLها   . 75

2-3 نمایش URLها به عنوان بردارهایی از فعالیت گروه تراکنش   75

3-3 یک SOM مرسوم که توسط توصیف URLها تولید شده است   76

 

دانلود پایان نامه در مورد انبار داده وپیاده سازی یک انبارداده آزمایشی

اختصاصی از نیک فایل دانلود پایان نامه در مورد انبار داده وپیاده سازی یک انبارداده آزمایشی دانلود با لینک مستقیم و پر سرعت .

ارزانتر از همه جا

(مجموعه مقالات و پایان نامه ها ی رشته مهندسی کامپیوتر)

دانلود پایان نامه در مورد انبار داده وپیاده سازی یک انبارداده آزمایشی

هدیه ویژه:

قلق های پایان نامه نویسی از شروع تا دفاع

دانلود پروژه پایان داده به همراه جدول ها و تصاویر

اختصاصی از نیک فایل دانلود پروژه پایان داده به همراه جدول ها و تصاویر دانلود با لینک مستقیم و پر سرعت .

 مطالب این پست : دانلود پروژه پایان داده به همراه جدول ها و تصاویر

   با فرمت ورد (دانلود متن کامل پایان نامه)

شرح پروژه :

       به جهت امنیت سیستمهای کامپیوتری لازم است که برخی محدودیتها برروی سیستم قرار

       داده شود تا دسترسی کاربران به سیستم را کنترل کند . بدین منظور طرحی با نام برنامه

       Useraccess   مطرح شده است . این برنامه همان طور که از اسم آن پیدا است میزان

       دسترسی کاربران سیستم را تعیین می کند .بدین منظور نرم افزاری تولید می شود تا اینکه

       بتواند بر روی برناه اصلی هر نوع سیستمی قرار گرفته ودرزمان اولین باراجرای برنامه

       مدیر سیستم بتواند worker ها، نقشها ، منوی اصلی برنامه و … را تعریف کند .همچنین

       او باید نقش هر worker در سیستم را تعریف کرده و با توجه به آن حق دسترسی برای

       آن worker تعریف کند . بعد از اتمام کار با توجه به توانایی های نرم افزار و سیستم

     زمان آن است که سیستم از آن اطلاعات استفاده کند. سیستم با توجه به اطلاعات وارد شده

       به ساخت منوی برنامه می پردازد و پس از آن با توجه به حق دسترسی های تعریف شده

       سیستم پس از شناسایی کاربر منوهایی که قرار است در اختیار او نباشد راغیرفعال خواهد

       کرد .بدین صورت عملکرد سیستم کنترل شده خواهد بود .

       درابتدای کار باید گفت که این نرم افزار برای ذخیره سازی اطلاعات به یک پایگاه داده

       متصل می شود که در زیر به شرح کامل آن می پردازیم :

       پایگاه داده مابا نام useraccess دارای5 جدول کلی برای ذخیره سازی اطلاعات است :

متن کامل را می توانید دانلود کنید چون فقط تکه هایی از متن این پایان نامه در این صفحه درج شده است(به طور نمونه)

ولی در فایل دانلودی متن کامل پایان نامه

همراه با تمام ضمائم با فرمت ورد که قابل ویرایش و کپی کردن می باشند

موجود است

پایان نامه مفاهیم پایگاه داده های رابطه ای و نرمال سازی – رشته کامپیوتر

اختصاصی از نیک فایل پایان نامه مفاهیم پایگاه داده های رابطه ای و نرمال سازی – رشته کامپیوتر دانلود با لینک مستقیم و پر سرعت .

پایان نامه رشته کامپیوتر :

  پایان نامه مفاهیم پایگاه داده های رابطه ای و نرمال سازی با فرمت ورد (دانلود متن کامل پایان نامه) 266 صفحه

پایان نامه دوره کارشناسی کامپیوتر

گرایش نرم افزار

موضوع :

مفاهیم پایگاه داده های رابطه ای و نرمال سازی

استادراهنما :

جناب آقای مهندس پورمحقق

نام دانشجو:

حمید رضا افضل نیا

                                                           فهرست مطالب

عنوان                                                                                                                                                  صفحه

فصل پنجم – دیگر زبانهای رابطه ای ……………………………………………………………………………………………………………….   1

5-1- حساب رابطه ای چند تایی ………………………………………………………………………………………………………………………..   3

5-1-1- طرح مثال   ………………………………………………………………………………………………………………………………………….   4

5-1-2- تعاریف رسمی …………………………………………………………………………………………………………………………………….   9

5-1-3- اطمینان در بیان ……………………………………………………………………………………………………………………………………   11

5-1-4- زبان های توانای پر معنی ………………………………………………………………………………………………………………………   12

5-2- قلمرو حساب رابطه ای ……………………………………………………………………………………………………………………………   13

5-2-1- تعریف رسمی   …………………………………………………………………………………………………………………………………..   13

5-2-2- پرس وجوهای نمونه ……………………………………………………………………………………………………………………………   14

5-2-3- ایمنی عبارات …………………………………………………………………………………………………………………………………….   16

5-2-4- قدرت بیانی زبان ………………………………………………………………………………………………………………………………..   18

5-3- پرس وجو از طریق مثال …………………………………………………………………………………………………………………………..   19

5-3-1-جدول های ساختمان ……………………………………………………………………………………………………………………………   20

5-3-2- پرس وجو هایی روی یک رابطه ……………………………………………………………………………………………………………   20

5-3-3- پرس وجو روی رابطه های جداگانه ………………………………………………………………………………………………………   25

5-3-4- جعبه وضعیت   ……………………………………………………………………………………………………………………………………   27

5-3-5- رابطه نتیجه   ……………………………………………………………………………………………………………………………………….   30

5-3-6- QBEدر مایکروسافت اکسس ……………………………………………………………………………………………………………..   32

5-4- دیتالوگ   ……………………………………………………………………………………………………………………………………………..   35

5-4-1- ساختار اساسی …………………………………………………………………………………………………………………………………..   35

5-4-2- ترکیب دستورات دیتالوگ ………………………………………………………………………………………………………………….   38

5-4-3- ترکیب های معنایی دیتالوگ غیر بازگشتی …………………………………………………………………………………………….     42

عنوان                                                                                                                                                 صفحه

5-4-3-1- ترکیب های معنایی یک دستور …………………………………………………………………………………………………………   42

5-4-3-2- ترکیب معنایی برنامه ……………………………………………………………………………………………………………………….     44

5-4-4- ایمنی   ………………………………………………………………………………………………………………………………………………     47

5-4-5- عملیاتهای رابطه ای در دیتالوگ …………………………………………………………………………………………………………..     49

5-4-6- بازگشتی در دیتالوگ …………………………………………………………………………………………………………………………     51

5-4-7- قدرت بازگشتی   ………………………………………………………………………………………………………………………………..     56

5-5- خلاصه   ……………………………………………………………………………………………………………………………………………….     59

مرور اصطلاحات   …………………………………………………………………………………………………………………………………………     60

تمرین مهارت   ………………………………………………………………………………………………………………………………………………     61

تمرین ها   …………………………………………………………………………………………………………………………………………………….     63

نکاتی مربوط به فهرست کتاب …………………………………………………………………………………………………………………………     66

ابزارها   ………………………………………………………………………………………………………………………………………………………..     67

بخش دوم :طراحی پایگاه داده ………………………………………………………………………………………………………………………     68

فصل ششم: طراحی پایگاه داده مدل E-R    ……………………………………………………………………………………………………     70

6-1- مفهوم کلی فرایند طراحی ………………………………………………………………………………………………………………………     71

6-1-1- مراحل طراحی   ……………………………………………………………………………………………………………………………….     72

6-1-2- طراحی جایگزین ها   …………………………………………………………………………………………………………………………     74

6-2- مدل موجودیت رابطه   ………………………………………………………………………………………………………………………….     75

6-2-1- گروه موجودیت     ……………………………………………………………………………………………………………………………     76

6-2-2- گروه رابطه ها   ………………………………………………………………………………………………………………………………..     78

6-2-3- صفات   ………………………………………………………………………………………………………………………………………….     83

6-3- محدودیت ها   ……………………………………………………………………………………………………………………………………..     87

6-3-1- ترسیم کاردینالیتی   …………………………………………………………………………………………………………………………..   87

6-3-2- کلیدها   ………………………………………………………………………………………………………………………………………….   89

6-3-2-1- گروه موجودیت ها   ……………………………………………………………………………………………………………………..    90

6-3-2-2- گروه رابطه ها   …………………………………………………………………………………………………………………………….     91

6-3-3- مشارکت محدودیت ها   ………………………………………………………………………………………………………………….     93

6-4- نمودارهای موجودیت – رابطه   …………………………………………………………………………………………………………….     93

6-5- نتایج طراحی موجودیت – رابطه   ………………………………………………………………………………………………………….     102

6-5-1- استفاده از گروه موجودیت ها در مقابل صفات   …………………………………………………………………………………..     102

6-5-2- استفاده از گروه موجودیت ها به جای گروه رابطه ها   …………………………………………………………………………..     105

6-5-3- گروه رابطه های n-ary در مقایل دوگانه   …………………………………………………………………………………………     106

عنوان                                                                                                                                                  صفحه

6-5-4- جایگاه صفات رابطه   …………………………………………………………………………………………………………………….     109

6-6- گروه موجودیت ضعیف   ……………………………………………………………………………………………………………………     111

6-7- ویژگیهای E-R گسترده   ………………………………………………………………………………………………………………….     114

6-7-1- ویژه کاری   ………………………………………………………………………………………………………………………………….     115

6-7-2 – عمومی سازی   …………………………………………………………………………………………………………………………….     118

6-7-3- صفات وراثتی   ……………………………………………………………………………………………………………………………..     120

6-7-4- محدودیت ها در عمومی سازی   ………………………………………………………………………………………………………     121

6-7-5- ترکیب   ………………………………………………………………………………………………………………………………………     125

6-7-6- نمادهای E-R جایگزین   ……………………………………………………………………………………………………………….     128

6-8- طراحی پایگاه داده برای پروژه بانکداری   ……………………………………………………………………………………………..     130

6-8-1- جایگزین های طرح E-R   ………………………………………………………………………………………………………………     131

6-8-2- الزامات داده برای پایگاه داده بانک   ………………………………………………………………………………………………….     132

6-8-3- گروه های موجودیت برای پایگاه داده بانک   …………………………………………………………………………………….     134

6-8-4- گروه های رابطه برای پایگاه داده بانک   …………………………………………………………………………………………….     135

6-8-5- نمودار E-R برای پایگاه داده بانک   ………………………………………………………………………………………………..     136

6-9- تبدیل شدن به الگوی رابطه ای   …………………………………………………………………………………………………………..       136

6-9-1- ارائه گروه های موجودیت قوی   ………………………………………………………………………………………………………       138

6-9-2- ارائه گروه های موجودیت ضعیف   ………………………………………………………………………………………………….       139

6-9-3 – ارائه گروه های رابطه   ………………………………………………………………………………………………………………….       140

6-9-3-1- الگوهای زائد   …………………………………………………………………………………………………………………………..       142

6-9-3-2- ترکیب الگوها   ………………………………………………………………………………………………………………………….       142

6-9-4- صفات ترکیبی و چند مقداری   ………………………………………………………………………………………………………..       144

6-9-5- ارائه روش عمومی سازی     ……………………………………………………………………………………………………………..       145

6-9-6- ارائه دادن ترکیب   ………………………………………………………………………………………………………………………..       147

6-9-7- الگوی رابطه برای پروژه بانکداری   ………………………………………………………………………………………………….       148

6-10- جنبه های دیگر طراحی پایگاه داده   …………………………………………………………………………………………………..       149

6-10-1- محدودیت داده ها وطراحی پایگاه داده رابطه ای   …………………………………………………………………………….       150

6-10-2- الزامات کاربردی : پرس وجوها ، کارایی   ……………………………………………………………………………………….       151

6-10-3- الزامات کنترل   ………………………………………………………………………………………………………………………….       153

6-10-4- جریان داده ها   …………………………………………………………………………………………………………………………..       153

6-10-5- موضوعات دیگر در طراحی پایگاه داده   ………………………………………………………………………………………..       154

6-11- زبان مدل سازی یکپارچه UML   ……………………………………………………………………………………………………       156

عنوان                                                                                                                                                   صفحه

6-12- خلاصه   ………………………………………………………………………………………………………………………………………..     160

مروری بر اصطلاحات   ……………………………………………………………………………………………………………………………….      163

تمرین مهارت   ………………………………………………………………………………………………………………………………………….       165

تمرینات   ………………………………………………………………………………………………………………………………………………….       170

منابع   ………………………………………………………………………………………………………………………………………………………       173

ابزارها   …………………………………………………………………………………………………………………………………………………….     173

فصل هفتم: طراحی پایگاه داده رابطه ای     ………………………………………………………………………………     175

7-1- ویژگی های طراحی های رابطه ای خوب     ……………………………………………………………………………………………       176

7-1-1- طراحی جایگزین : الگوهای بزرگتر   ………………………………………………………………………………………………..       177

7-1-2- طراحی جایگزین : الگوهای کوچکتر   ……………………………………………………………………………………………..       181

7-2- محدوده های غیر قابل تجزیه واولین شکل نرمال   …………………………………………………………………………………..       185

7-3- تجزیه با استفاده از وابستگی های عملیاتی     ………………………………………………………………………………………….       188

7-3-1- کلیدها و وابستگی های عملیاتی   …………………………………………………………………………………………………….       188

7-3-2- شکل نرمال Boyce-codd     ……………………………………………………………………………………………………….       192

7-3-3- BCNF و حفاظت وابستگی     ………………………………………………………………………………………………………     193

7-3-4- سومین شکل نرمال     ……………………………………………………………………………………………………………………       197

7-3-5- شکل های نرمال بیشتر     …………………………………………………………………………………………………………………     200

7-4- تئوری وابستگی عملیاتی     ………………………………………………………………………………………………………………….     201

7-4-1- بستار مجموعه وابستگی های عملیاتی     …………………………………………………………………………………………….     201

7-4-2- بستار گروه های صفات     ……………………………………………………………………………………………………………..       205

7-4-3-

پایان نامه رشته کامپیوتر - داده کاوی، تکنیکها و متدلوژی آن - با فرمت word

اختصاصی از نیک فایل پایان نامه رشته کامپیوتر - داده کاوی، تکنیکها و متدلوژی آن - با فرمت word دانلود با لینک مستقیم و پر سرعت .

فهرست

مقدمه. 4

عناصر داده کاوی.. 10

پردازش تحلیلی پیوسته: 11

قوانین وابستگی: 12

شبکه های عصبی : 12

الگوریتم ژنتیکی: 12

نرم افزار 13

کاربردهای داده کاوی.. 13

داده کاوی و کاربرد آن در کسب و کار هوشمند بانک.... 15

داده کاوی درمدیریت ارتباط بامشتری.. 16

کاربردهای داده کاوی در کتابخانه ها و محیط های دانشگاهی.. 17

مدیریت موسسات دانشگاهی.. 19

داده کاوی آماری و مدیریت بهینه وب سایت ها 21

داده کاوی در مقابل پایگاه داده   Data Mining vs database. 22

ابزارهای تجاری داده کاوی.. 23

منابع اطلاعاتی مورد استفاده 24

انبار داده 24

مسائل کسب و کار برای داده‌کاوی.. 26

چرخه تعالی داده کاوی چیست؟. 27

متدلوژی داده‌کاوی و بهترین تمرین‌های آن.. 31

یادگیری چیزهایی که درست نیستند. 32

الگوهایی که ممکن است هیچ قانون اصولی را ارائه نکنند. 33

چیدمان مدل ممکن است بازتاب دهنده جمعیت وابسته نباشد. 34

ممکن است داده در سطح اشتباهی از جزئیات باشد. 35

یادگیری چیزهایی که درست ولی بلااستفاده‌اند. 37

مدل‌ها، پروفایل‌سازی، و پیش‌بینی.. 38

پیش بینی.. 41

متدلوژی.. 42

مرحله 1: تبدیل مسئله کسب و کار به مسئله داده‌کاوی.. 43

مرحله 2: انتخاب داده مناسب... 45

مرحله سوم: پیش به سوی شناخت داده 48

مرحله چهارم: ساختن یک مجموعه مدل.. 49

مرحله پنجم: تثبیت مسئله با داده‌ها 52

مرحله ششم: تبدیل داده برای آوردن اطلاعات به سطح.. 54

مرحله هفتم: ساختن مدلها 56

مرحله هشتم: ارزیابی مدل ها 57

مرحله نهم: استقرار مدل ها 61

مرحله 10: ارزیابی نتایج.. 61

مرحله یازدهم: شروع دوباره 61

وظایف داده‌کاوی‌ 62

1- دسته‌بندی.. 62

2- خوشه‌بندی.. 62

3- تخمین.. 63

4- وابستگی.. 65

5- رگرسیون.. 66

6- پیشگویی.. 67

7- تحلیل توالی.. 67

8- تحلیل انحراف... 68

9- نمایه‌سازی.. 69

منابع.. 70

مقدمه

از هنگامی که رایانه در تحلیل و ذخیره سازی داده ها بکار رفت (1950) پس از حدود 20 سال، حجم داده ها در پایگاه داده ها دو برابر شد. ولی پس از گذشت دو دهه و همزمان با پیشرفت فن آوری اطلاعات(IT) هر دو سال یکبار حجم داده ها، دو برابر شده و همچنین تعداد پایگاه داده ها با سرعت بیشتری رشد نمود. این در حالی است که تعداد متخصصین تحلیل داده ها با این سرعت رشد نکرد. حتی اگر چنین امری اتفاق می افتاد، بسیاری از پایگاه داده ها چنان گسترش یافته‌اند که شامل چندصد میلیون یا چندصد میلیارد رکورد ثبت شده هستند.امکان تحلیل و استخراج اطلاعات با روش های معمول آماری از دل انبوه داده ها مستلزم چند روز کار با رایانه های موجود است.[3]

حال با وجود سیستم های یکپارچه اطلاعاتی، سیستم های یکپارچه بانکی و تجارت الکترونیک، لحظه به لحظه به حجم داده ها در پایگاه داده های مربوط اضافه شده و باعث به وجود آمدن انبارهای عظیمی از داده ها شده است.

این واقعیت، ضرورت کشف و استخراج سریع و دقیق دانش از این پایگاه داده ها را بیش از پیش نمایان کرده است، چنان که در عصر حاضر گفته می شود اطلاعات طلاست.

هم اکنون در هر کشور، سازمان، شرکت و غیره برای امور بازرگانی، پرسنلی، آموزشی، آماری و غیره پایگاه داده ها ایجاد یا خریداری شده است. به طوری که این پایگاه داده ها برای مدیران، برنامه ریزان، پژوهشگران جهت، تصمیم گیری های راهبردی، تهیه گزارش های مختلف، توصیف وضعیت جاری خود و سایر اهداف می تواند مفید باشد. بسیاری از این داده ها از نرم افزارهای تجاری، مثل کاربردهای مالی، ERPها، CRMها و web log ها، می آیند. نتیجه این جمع آوری داده ها این می‌شود که در سازمانها، داده ها غنی ولی دانش ضعیف، است. جمع آوری داده ها، بسیار انبوه می‌شود و بسرعت اندازه آن افزایش می یابد و استفاده عملی از داده ها را محدود می سازد.[2]

داده‌کاوی استخراج و تحلیل مقدار زیادی داده بمنظور کشف قوانین و الگوهای معنی دار در آنهاست. هدف اصلی داده کاوی، استخراج الگوهایی از داده ها، افزایش ارزش اصلی آنها و انتقال داده ها بصورت دانش است.

داده‌کاوی، بهمراه OLAP، گزارشگری تشکیلات اقتصادی(Enterprise reporting) و ETL، یک عضو کلیدی در خانواده محصول Business Intelligence(BI)، است.[2]

حوزه‌های مختلفی وجود دارد که در آنها حجم بسیاری از داده در پایگاه‌داده‌های متمرکز یا توزیع شده ذخیره می‌شود. برخی از آنها به قرار زیر هستند: [6]

• کتابخانه دیجیتال: یک مجموعه سازماندهی شده از اطلاعات دیجیتال که بصورت متن در پایگاه‌داده‌های بزرگی ذخیره می شوند.
• آرشیو تصویر: شامل پایگاه‌داده بزرگی از تصاویر به شکل خام یا فشرده.
• اطلاعات زیستی: بدن هر انسانی از 50 تا 100 هزار نوع ژن یا پروتئین مختلف ساخته شده است. اطلاعات زیستی شامل تحلیل و تفسیر این حجم عظیم داده ذخیره شده در پایگاه‌داده بزرگی از ژنهاست.
• تصاویر پزشکی: روزانه حجم وسیعی از داده‌های پزشکی به شکل تصاویر دیجیتال تولید می‌شوند، مانند EKG، MRI، ACT، SCAN و غیره. اینها در پایگاه‌داده‌های بزرگی در سیستم‌های مدیریت پزشکی ذخیره می شوند.
• مراقبت‌های پزشکی: بجز اطلاعات بالا، یکسری اطلاعات پزشکی دیگری نیز روزانه ذخیره می‌شود مانند سوابق پزشکی بیماران، اطلاعات بیمه درمانی، اطلاعات بیماران خاص و غیره.
• اطلاعات مالی و سرمایه‌گذاری: این اطلاعات دامنه بزرگی از داده‌ها هستند که برای داده‌کاوی بسیار مطلوب می‌باشند. از این قبیل داده‌ها می‌توان از داده‌های مربوط به سهام، امور بانکی، اطلاعات وام‌ها، کارت‌های اعتباری، اطلاعات کارت‌های ATM، و کشف کلاه‌برداری‌ها می باشد.
• ساخت و تولید: حجم زیادی از این داده‌ها روزانه به اشکال مختلفی در کارخانه‌ها تولید می‌شود. ذخیره و دسترسی کارا به این داده‌ها و تحلیل آنها برای صنعت تولید بسیار بااهمیت است.
• کسب و کار و بازاریابی: داده‌ لازم است برای پیش‌بینی فروش، طراحی کسب و کار، رفتار بازرایابی، و غیره.
• شبکه راه‌دور: انواع مختلفی از داده‌ها در این صنعت تولید و ذخیره می شوند. آنها برای تحلیل الگوهای مکالمات، دنبال کردن تماس‌ها، مدیریت شبکه، کنترل تراکم، کنترل خطا و غیره، استفاده می‌شوند.
• حوزه علوم: این حوزه شامل مشاهدات نجومی، داده زیستی، داده ژنومیک، و غیره است.
• WWW: یک حجم وسیع از انواع مختلف داده که در هر جایی از اینترنت پخش شده‌اند.

در بیشتر این حوزه‌ها، تحلیل داده‌ها یک روال دستی بود. یک تحلیلگر کسی بود که با داده‌ها بسیار آشنا بود و با کمک روش‌های آماری، خلاصه‌هایی تهیه و گزارشاتی را تولید می‌کرد. در یک حالت پیشرفته‌تر، از یک پردازنده پیچیده پرسش استفاده می‌شد. اما این روش‌ها با افزایش حجم داده‌ها کاملا بلااستفاده شدند.

واژه های «داده‌کاوی» و «کشف دانش در پایگاه داده»[1] اغلب به صورت مترادف یکدیگر مورد استفاده قرار می گیرند. کشف دانش به عنوان یک فرآیند در شکل1 نشان داده شده است.

کشف دانش در پایگاه داده فرایند شناسایی درست، ساده، مفید، و نهایتا الگوها و مدلهای قابل فهم در داده ها می‌باشد. داده‌کاوی، مرحله‌ای از فرایند کشف دانش می‌باشد و شامل الگوریتمهای مخصوص داده‌کاوی است، بطوریکه، تحت محدودیتهای مؤثر محاسباتی قابل قبول، الگوها و یا مدلها را در داده کشف می کند[3]. به بیان ساده‌تر، داده‌کاوی به فرایند استخراج دانش ناشناخته، درست، و بالقوه مفید از داده اطلاق می‌شود. تعریف دیگر اینست که، داده‌کاوی گونه‌ای از تکنیکها برای شناسایی اطلاعات و یا دانش تصمیم‌گیری از قطعات داده می‌باشد، به نحوی که با استخراج آنها، در حوزه‌های تصمیم‌گیری، پیش بینی، پیشگویی، و تخمین مورد استفاده قرار گیرند. داده‌ها اغلب حجیم، اما بدون ارزش می‌باشند، داده به تنهایی قابل استفاده نیست، بلکه دانش نهفته در داده ها قابل استفاده می باشد. به این دلیل اغلب به داده کاوی، تحلیل داده ای ثانویه[2] گفته می‌شود.

[1] Knowledge Discovery in Database

[2] Secondary Data Analysis