مقدمه :
آماده سازی داده ها 5 برای داده کار :
از داده کاوی؛ به عنوان مرحله ای از فرایند کشف دانش که الگوها و یا مدل ها را در میان انبوهی از داده ها پیدا می کند؛ یاد می شود. خروجی فرایند داده کاوی معمولاً غیر بدیهی و البته درک است. علاوه بر این، داده کاوی علمی است که از تلفیق علوم متفاوت همچون؛ آمار، یادگیری ماشینی، پایگاه های اطلاعاتی و مانند آن شکل می گیرد و ماده اولیه به کار رفته در آن، داده (اطلاعات) است. از این رو سنگ بنای عملیات داده کاوی خوب، به کارگیری و دسترسی به داده های اولیه خوب ومناسب است؛ که از آن به آماده سازی یا پیش پردازش 6 داده ها یاد می شود. در واقع برای کشف دانش به کمک داده کاوی بایستی مقدماتی صورت گیرد؛ که مجموعه این اقدامات را آماده سازی داده ها گویند(شکل1).
اهمیت آماده سازی داده ها :
اهمیت آماده سازی داده ها به دلیل این واقعیت است که؛ “فقدان داده با کیفیت برابر با فقدان کیفیت در نتایج کاوش است” 7 و ” ورودی بد خروجی بد به دنبال دارد”8 در جدول 1 مقایسه ای بین اهمیت آماده سازی داده ها نسبت به سایر گام های کشف دانش به کمک داده کاوی صورت گرفته است. با این حال، متأسفانه بسیاری اهمیت آماده سازی داده ها را فراموش کرده و یا آن را کم اهمیت می انگارند. از این رو تلاش های بسیاری برای بسط و توسعه آماده سازی داده ها در داده کاوی روی داده است.وظیفه اصلی پیش پردازش داده ها؛ سازمان دهی داده ها در شکل های استاندارد برای داده کاوی و یا سایر عملیات مبتنی بر کامپیوتر است؛ که در ادامه مو
رد اشاره قرار گرفته است.
کارهای عمده در آماده سازی یا پیش پردازش داده ها :
1-فهم داده:با کمک این موضوع، می توان مراحل بعدی عملیات داده کاوی را بهبود داد. به این معنی که می توان جامع و مانع بودن داده ها، هدف و کاربرد داده ها و مواردی از این دست را درک کرد تا ضمن افزایش قابلیت اطمینان به عملیات داده کاوی، سرعت انجام کار نیز افزایش یابد.
2-پاک سازی داده: این مرحله شامل؛ پر کردن داده های گم شده، هموار کردن نویزها، شناخت و حذف داده های پرت و بر طرف کردن ناسازگاری هاست.
3- یکپارچه سازی داده: این موضوع، معمولاً به هنگام تلفیق چندین پایگاه داده یا فایل اهمیت می یابد. مسایلی هم چون افزونگی داده ها در این دسته قرار می گیرند.
4-تبدیل داده: در این مرحله از پیش پردازش داده ها، با عملیاتی همچون نرمال سازی، تغییر و تجمیع داده ها روبرو هستیم.
5-کاهش داده و کاهش بعد: هدف از این مرحله آن است که به حجم کوچک تری از داده ها دست یابیم. نکته مهم در این مرحله از آماده سازی داده ها، آن است که دست یابی به نتایج تحلیلی مشابه با اصل و تمام داده ها تضمین گردد؛ چرا که در غیر این صورت این کاهش اثر مثبتی برای ما در پی نخواهد داشت.
از آن جا که، هر یک از موضوعات مطرح شده در پیش پردازش داده ها، نیازمند بحثی مفصل و طولانی در مفاهیم ودر تکنیک های اجرایی است؛ ارایه آن ها در این مجموعه نمی گنجد.
از این رو، با توجه به اهمیت موضوع پاک سازی داده ها و عمومیت آن در هر نوع عملیات آماده سازی برای داده آمایی، در ادامه، بیشتر این مبحث را مورد توجه قرار داده و سایر موارد را به مقالات دیگری موکول خواهیم کرد.
پاک سازی داده ها:
در پاک سازی داده ها به نوعی با تمیز کاری داده که گاهی تنظیف داده نیز نامیده می شود؛ روبروییم. پاک سازی داده ها، فرآیند تشخیص و حذف یا تصحیح اطلاعات در یک پایگاه داده است که دارای برخی خطاهاست. اهمیت این فرایند تا آن جاست که، قیمت نرم افزارهای مربوط به تمیز کردن داده ها بسیار گزاف و خارج از تصور بسیاری افراد است. محدوده قیمت نرم افزارهای خوب مربوط به تمیز کردن داده ها بین 000,20 تا 000,300 دلار قیمت است.
وظایف پاک سازی داده:
الف)اکتساب داده و فراداده:
در این مرحله، مواردی همچون شناخت نقش، نوع و جزییات کاربردی داده مورد بررسی قرار می گیرد. به علاوه در مواردی که نیاز است تا انباره های داده و بازارهای داده ای ساخته شوند ممکن است نیازمند ساخت فراداده برای داده هایمان باشیم.
ب)پر کردن داده های گم شده/مفقوده:
گاهی با مشکل فقدان داده ها روبرو هستیم. دلایل مختلفی برای نبود داده ها ذکر شده است؛ که عبارتند از:
*داده ها هنگام ورود حایز اهمیت نبوده اند.
*در تجهیزات ثبت داده ها ایراد وجود دارد.
*به خاطر دشواری فهم، داده وارد نشده است.
*داده مورد نظر، با داده دیگر ناسازگار بوده و به ناچار حذف شده است.
حال باید دید که چگونه باید با این مشکل برخورد کرد. انتخاب روش برخورد با داده ها که وجود ندارد؛ بستگی به شرایط مسأله دارد. یکی از شرایط موثر در این تصمیم گیری ها آن است که دریابیم چه عاملی دلیل فقدان داده ها بوده است.
برخی داده ها مفقوده کاملاً از نظر آماری غیر وابسته به داده هایی است که تا کنون مشاهده شده ان ؛ این داده ها را مفقود شده ی کاملاً تصادفی 9 می گویند. در برخی موارد نیز مقادیر مفقوده، تصادفی 10 هستند و به تعدادی از متغیرها یا طبقه داده های پیش بینی کننده مشروط می باشند. دسته ای دیگر از داده های مفقوده نیز، غیر قابل چشم پوشی 11 هستند؛ به این معنا که این نوع داده های مفقوده به کمک داده های مشاهده شده قبل از خود قابل نقل هستند. این قبیل تفاوت ها سبب می شود که روش های متفاوتی برای برخورد با مقادیر مفقوده مورد استفاده قرار گیرد.
حذف رکورد: این روش برای عملیات دسته بندی و بر روی داده های طبقه ای صورت می گیرد. نکته ای که باید مد نظر باشد آن است که اگر تعداد داده های مفقوده زیاد باشد؛ استفاده از این روش سبب می شود که حجم نمونه به شدت کاهش یابد. این مشکل به شکل ویژه هنگامی اثرات خود را بر نتایج نشان می دهد که برخی از نمونه داده ها بسیار نادر و کم بوده و حذف رکورد مربوط به آن ها، سبب از دست دادن نمونه ای با ارزش شود. از این رو حذف رکورد بایستی در موارد خاص انجام گیرد.
حذف مشاهده:
این انتخاب زمانی روی می دهد که رکورد دارای مقدار
مفقوده، مورد نیاز باشد؛ چرا که در غیر این صورت بود یا نبود مقدار برای ما مهم نیست. البته در صورت نیاز به استفاده از این روش باید به یاد داشته باشیم که محاسبات انجام شده برای مقادیر آمار توصیفی؛ از قبیل میانگین، واریانس و کواریانس به اندازه های متفاوت نمونه مربوط خواهد شد که تأثیر آن باید مد نظر باشد.
پر کردن به صورت دستی:
همان گونه که قابل پیش بینی هم می باشد این روش چندان عملی نیست؛ چرا که پیدا کردن و اصطلاحات لازم زمان بر است. البته در برخی مواقع ای تنها راه حل ممکن است. مثلاً، دو نام و آدرس فرضی محمد رحیمی ساکن تهران و محمدامین رحیمی ساکن تهران را در نظر بگیرید. اگر این دو نفر دقیقاً یکی بوده و تمامی سایر مشخصات آن ها نیز یکی باشند؛ تشخیص و رفع این مشکل ممکن است به کمک کامپیوتر مقدور نباشد. البته این موارد بسیار محدود است. پر کردن به صورت خودکار: این راه حل دارای چندین زیر روش است پر کردن خودکار به چند روش زیر ممکن است:
پرکردن با مقدار ثابت سراسری:
در این موارد مقادیر مفقوده با مقداری هم چون، Unknown پر می شوند. مسأله ای که در این صورت با آن مواجه خواهیم بود آن است که، ممکن است در حجم بالای داده ها ویژگی مقدار دهی شده با این مورد، جزء داده های محاسباتی محسوب شده ودر محاسبات منظور گردد؛ و به این شکل ایجاد خطا نماید. به علاوه هنگامی که عملی_ات پاگ سازي داده ها براي ساخت انبار داده استفاده مي شود، اين روش انتخاب مناسبي نخواهد بود.
پرکردن با ميانگين ويژگي:
استفاده از اين روش ممکن است سبب شود تا به دليل تاثير مقادير نسبت داده شده به اين ويژگي، نتايج به دست آمده به نفع اين ميانگين باياس شود؛ حتي ممکن است اتخاذ اين روش سبب حذف يا انتقال رکوردهاي مربوط به يک دسته خاص از داده ها به سمت دسته نتايج ديگري شده و يک دسته مهم و واقعي از نتايج را ناديده بگيريم.
پرکردن با مقادير با احتمال بيشتر:
اين روش که پرکاربردترين روش قابل اعتماد است، شامل روش هاي استنتاجي و به کارگيري فرمول هاي بيزين، رگرسيون و درخت تصميم است. به نوعي در اين روش ها بر اساس استنتاج منطقي که مبتني بر نوع اطلاعات موجود است؛ عمل پيش بيني صورت مي گيرد. علاوه بر اين موارد؛ روش هاي ديگري هم چون، پر کردن مقادير با ميانگين ويژگي براي کلاس هاي مشابه، نيز وجود دارد که چندان متداول نمي باشند.
باز هم بايستي يادآوري کنيم که ، نوع داده ها و شناخت آن ها قبل از پرکردن مقادير مفقوده ضروري است. مثلاً نمي توان داده طبقه اي را با روش ميانگين ويژگي پرکرد، چرا که ميانگين براي اين نوع داده ها قطعاً بي معنا خواهد بود. درک اين موارد در مواجهه با اين قبيل مشکلات اهميتي حياتي دارد.
ج)حل مشکل افزونگي(در عمليات تجميع داده ها):
همان گونه که مي دانيد؛ براي کار با داده ها در بسياري مواقع، آن ها را از منابع و پايگاه داده هاي مختلف در کنار يکديگر تجميع مي کنيم. در داده کاوي اين موضوعات در قالب ساخت بازارهاي داده و انبارهاي داده مورد بررسي قرار مي گيرد که نيازمند بحثي مفصل است. به هر حال پايگاه هاي مختلف داده هنگامي که گسسته از يکديگر طراحي مي شوند؛ به ناچار داراي فيلدهاي و داده ها ي يکساني هستند که اتفاقاً داده هاي حياتي پايگاه داده ها و سيستم هاست.
براي اين گونه مسايل روش هاي متعددي وجود دارد که برخي از آن ها هم چونه افزونگي 12 معمول در پايگاه داده ها را با آزمون هاي مختلف آماري مي توان حل کرد.
د)يکسان سازي فرمت ها:
اين موضوع نيز يکي از مسايل مهم به هنگام تجميع داده هاست که به دليل اهميت آن و پنهان بودن زواياي آن از ديد داده کاوان؛ آن را به شکل مجزا مورد اشاره قرار داده ايم. براي درک پنهان و مشکل بودن تشخيص اين موارد بهتر است مثالي مطرح کنيم. به عنوان مثال در مورد فيلد تاريخ، فرمت هاي مختلفي براي ذخيره داده ها استفاده مي شود؛ که در صورت عدم دقت به اين مسأله، داده کاوي، اثربخشي لازم را به دنبال نداشته و بازسازي انباره هاي داده ساخته شده نيز،هزينه بالايي به دنبال خواهد داشت. راه حل اين مشکل عموماً در گرو درک داده هاي موجود در پايگاه هاي مختلف، از قبل تجميع آن هاست.
ه) تصحيح داده هاي ناسازگار:
اين مشکل مربوط به تناقض در داده ها بوده و از جمله مواردي است که نيازمند تجربه و صرف وقت بسيار است. به عنوان مثال وجود در فيلد تاريخ تولد و سن مربوط به يک مشتري خاص، در صورتي که همخواني لازم را نداشته باشد، ناسازگاري محسوب مي شود. اين گونه خطاها ممکن است به دليل استفاده از منابع مختلف داده و در زمان ترکيب دو منبع مختلف از داده ها روي دهد.
اما مشکل عمده اي که با آن مواجه مي شويم و تشخيص آن بسيار مشکل است؛تعيين ناسازگاري هاي نهفته است. به عنوان مثال اگر به دنبال کشف الگو در مورد مسائل مربوط به هتل داري باشيد و قيمت مربوط به هتل هاي دنيا را از منابع مختلف جمع آوري کنيد، جداي از بحث تبديل نرخ ها و رفع ناسازگاري مربوط به مسايل خاص ارزي هر کشور، باز هم قيمت هتل ها نمي تواند ملاک مناسبي باشد؛ چرا که لازم است تا خدماتي همچون، صبحانه رايگان، استخر و ساير خدماتي را که در جاهاي مختلف به شيوه هاي مختلف ارايه مي شود، مد نظر داشت. به عبارتي قيمت هر شب اقامت در هتل در کنار نوع، شيوه و مقدار ارايه خدمات جانبي آن معنا پيدا مي کند.
روش عمده و اصلي در حل ناسازگاري ها درک ماهيت داده ها است. اما در مواردي نيز ناسازگاري ها را که حاصل تجميع چند منبع مختلف بوده و بيانگر افزونگي داده هاست؛ مي توان با کمک روش هاي آماري بر طرف کرد.
و) مواجهه با داده هاي نويز؛ داده هاي پرت؛ و هموار کردن اغتشاشات داده ها:
قبل از هر چيز ديگر در اين جا لازم است تا تفاوت بين داده هاي نويز و داده هاي پرت14 را درک کنيم. اين تفاوت در اين نکته است که داده هاي نويز در اثر خطاهاي تصادفي بروز مي کنند. از جمله عواملي که سبب بروز داده نويز مي شود؛ مي توان به موارد زير اشاره کرد:
*استفاده از ابزارهاي معيوب جمع آوري داده
*مسائا و مشکلات حين ورود داده
*محدوديت فناوري.
قبل از بيان روش هاي مواجهه با اين گونه اغتشاشات داده اي، به ياد داشته باشيد که تشخيص نويز يا پرت بودن مهم تر از حل اين مشکل است! تشخيص اشتباه همواره درمان اشتباه به همراه دارد. از اين رو بايستي مطمئن شد که اولاً آن چه گمان مي کنيم مثلاً داده نويز است؛ واقعاً داده نويز باشد تا مبادا به عنوان انجام اصلاح در داده، داده اي با ارزش را تغيير دهيم.
براي مواجهه با داده نويز و هموار کردن داده ها، روش هاي مختلفي وجود دارد، که از جمله مي توان به گسسته سازي 15 داده ها، رگرسيون، خوشه بندي و روش هاي ترکيبي بازرسي ماشين و انسان 16 اشاره کرد. البته برخي از اين روش ها، هم چون استفاده از رگسيون و خوشه بندي در داده هاي پرت نيز به کابرد دارد. از اين رو آن ها را تنها يک مرتبه توضيح مي دهيم.
تلخيص توصيفي داده ها:
نتايج حاصل از تلخيص توصيفي داده ها مي تواند به شکل گرافيکي درآمده و درک و توصيف داده ها را ميسر سازد. از جمله گراف هايي که براي نمايش گرافيکي تلخيص توصيفي داده ها استفاده مي شود مي توان به؛ هيستوگرام، چندک18،چندک چندک، نمودارپراکندگي نمودار لويس 19 ،نمودار جعبه 20 ،نمودار ميله اي اين ها اشاره کرد. نرم افزارهاي مختلف آماري بسياري از نرم افزارهاي کاربردي داده کاوي با فراهم کردن امکان نمايش گرافيکي داده هاي توصيفي تلخيص شده، در عمليات آماده سازي داده ها سهيم شده اند.
گسسته سازي:
هدف از اين روش آن است که داده ها را بر حسب قواعدي در دسته بندي هايي قرار دهيم؛ و دسته اي را که تعداد داده هاي موجود در آن بسيار کم باشد، کنار مي گذاريم. توجيه آن است که اين داده ها با ديگر داده ها تفاوت داشته و بنا به اشتباهاتي به وجود آمده اند. فراموش نکنيم که اين روش نبايستي حذف نمونه هاي ارزشمند را در تشخيص الگوها به همراه داشته باشد. از اين رو تأکيد مي کنيم که تشخيص نويز يا پرت بودن داده؛ از حل مشکل آن مهم تر است. رگسيون: رگسيون تنها روشي است که در صورت مهيا بودن شرايط استفاده، علاوه بر مشخص نمودن داده مغشوش براي آن مقدار هم پيشنهاد مي دهد. رگسيون بر روي تعداد مختلف ويژگي قابل اجراست. در صورتي که بر روي دو محور متعامد تنها دو ويژگي را در نظر داشته باشيم خروجي رگسيون برازش خطي براي تطبيق نقاط اين دو ويژگي است که به آن رگسيون خطي مي گويند. در صورتي که تعداد بيشتري متغير و با انواع ارتباط خطي و غير خطي داشته باشيم رگسيون ما يک رگسيون چند متغيره و يا غير خطي خواهد بود. قبل از استفاده از روش رگسيون بهتر است تا ويژگي هايي را که پيش بيني کننده خوبي براي متغير وابسته هستند؛ انتخاب کنيم. اين کار يا بر اساس نظر خبره و يا به کمک تست هاي مختلف آماري از قبيل تست هاي جهت و ميزان همبستگي صورت مي گيرد. مسأله مهم براي استفاده از رگسيون آن است که اين روش به داده هاي پرت حساس است. از اين رو مي توان با تعيين اوليه برخي نقاط پرت توسط اين روش يا هر روش ديگر و حذف آن ها دوباره رگسيون را تکرار کرد تا در حرحله تعدادي داده مغشوش مشخص و مقادير پيش بيني شده آن با نظر خبره تأييد گردد. نکته مهم ديگر آن که، دامنه استفاده از رگسيون محدود به داده هاي عددي نيست و با انجام مقدماتي مي توان براي داده هاي گسسته طبقه اي و ترتيبي نيز مورد استفاده قرار گيرد. از اين قبيل موارد ميتوان به رگسيون لجستيک و پواسون اشاره کرد که بيان جزييات مربوط به آن ها در اين مقوله نمي گنجد. خوشه بندي: از خوشه بندي نيز مي توان براي تعيين داده ها و خوشه هايي که مي تواند پرت بوده و يا براي مسأله مورد بررسي ما کاربرد نداشته باشد استفاده کرد. به عبارتي يکي از کاربردهاي خوشه بندي تعيين داده هاي فضاي مسأله مورد بررسي است. همان گونه که مي دانيد در خوشه بندي، مجموعه اي از داده ها که بر اساس ويژگي هاي مختلف بيشترين شباهت دارند در کنار يکديگر قرار مي گيرند. همان گونه که در شکل زير نيز مي بينيد؛ برخي داده ها بيرون خوشه ها قرار گرفته و مي توان آن ها را کنار گذارد. البته همواره بايستي احتياط هاي لازم را مد نظر داشت.
نتيجه گيري
در اين مقاله، موضوع آماده سازي داده ها براي عمليات داده کاوي مورد توجه قرار گرفت. اهميت اين موضوع سبب شده تا بسياري نتايج ار داده کاوي را تنها در صورتي قابل اعتنا بدانند که از پيش پردازش مناسبي برخوردار باشد.
موضوعات مختلفي براي انجام آماده سازي داده ها وجود دارد. از جمله اين موضوعات، پاک سازي داده ها، کاهش داده ها، کاهش ابعاد و مواردي از اين قبيل است. هر يک از موضوعات مطرح شده در پيش پردازش داده ها داراي مفاهيم و تکنيک هاي اجرايي مختلفي است که نيازمند تشريح و تفصيلي گسترده است.
از اين در اين مقاله موضوع پاک سازي داده ها، انواع مشکلات و روش هاي مواجهه با آن ها مورد توجه قرار گرفت و بررسي ساير موارد به مقالات آتي موکول شد. با اين وجود، به کارگيري عملي اين موارد؛ نيازمند کسب تجربه و تکرار است.
منابع:
1-Data Mining: Concepts and Techniques on the base of jiawei han lecture materials, PHD. T.shatovskaya software department PhD.T.shatovskaya software department
2-Data Preparation , Part 1: Exploratory Data Analysis&Data Cleaning, Missing Data , CAS 2007 Ratemaking Seminar ,Louise Francis,
FCAS , Francis Analytics and Actuarial Data Mining, Inc. www.data-mines.com , Louise_francis@msn.com
3-Data Mining: Concepts and Techniques, San Francisco,CA:Morgan Kaufmann, Han, j ;Kamber , M.(2006
4- Chapter 3.Data PreParation and Screening, in Principles and Practice of Structural Equation Modeling, NY:Guilford Press,R.B. Kline, 2005,pp.45-62
5-http://healthdata.tbzmed.ac.ir/statistics/online%20education/chart/chart3.htm
6-http://www.wisegeek.com/what-is-data-scrubbing.htm
7-Spatial data mining implementation Alternatives and performances Nadjim Chelghoum-arine Zeitouni PRISM Laboratory, University of Versailles- France
8-IMPROVING DATA INTEGRATION FOR DATA WAREHOUSE:A DATA MINING APPROACH Kalinka Mihaylova Kaloyanova “St.Kliment Ohridski” University of Sofia, Faculty of Mathematics and Informatics Sofia 1164,Bulgaria kkaloyanova@fmi.uni-sofia.bg, 2005
9-Data Mining: Concepts, Models, Methods, and Algorithms, Mehmed Kantardzic , John Wiley & Sons,2003,Chapter 2AND CHAPTER 3: Preparing the Data
(Footnotes)
1-Data Mining
2-Text Mining
3-Web Mining
Knowledge Mining
5-Data Preparation
6-Pre Proccessing
7-No quality data, no quality mining results
8-Garbage in Garbage Out
9-Missing Completely at Random (MCAR
10-Missing at Random
11-No Ignorable Missing Data (NMD
12-Redundancy
13-Inconsistent Data
14-Outlier
15-Binning or Discretization
16-Combined Computer and Human Inspection
17-Descriptive data summarization
18-Quantile
19-Loess Curve
20-Box Plot
ماهنامه ي رايانه شماره 188