معرفی داده کاوی (Data Mining) 

به مجموعه‌ای از روش‌های قابل اعمال بر پایگاه داده‌های بزرگ و پیچیده به منظور کشف الگوهای پنهان و جالب توجه نهفته در میان داده‌ها، داده‌کاوی Data Mining گفته می‌شود. روش‌های داده‌کاوی Data Mining تقریبا همیشه به لحاظ محاسباتی پر هزینه هستند.

علم میان‌رشته‌ای داده‌کاوی Data Mining ، پیرامون ابزارها، متدولوژی‌ها و تئوری‌هایی است که برای آشکارسازی الگوهای موجود در داده‌ها مورد استفاده قرار می‌گیرند و گامی اساسی در راستای کشف دانش محسوب می‌شود. دلایل گوناگونی پیرامون چرایی مبدل شدن داده‌کاوی Data Mining به چنین حوزه مهمی از مطالعات وجود دارد.

. قدرت پردازش کامپیوتری به سرعت در حال افزایش

با چنین حجم بالا و متنوعی از داده‌های موجود، روش‌های داده‌کاوی به استخراج اطلاعات از داده‌ها کمک می‌کنند. «ژیاوی هان» (Jiawei Han)، دانشمند داده و نویسنده کتاب «داده‌کاوی Data Mining، مفاهیم و روش‌ها» (Data Mining: Concepts and Techniques)

روش‌های داده‌کاوی Data Mining دارای انواع گوناگونی هستند و از رگرسیون گرفته تا روش‌های تشخیص الگوی پیچیده و دارای هزینه محاسباتی بالا که ریشه در علوم کامپیوتر دارند را شامل می‌شوند. هدف اصلی روش‌های یادگیری (داده‌کاوی) انجام پیش‌بینی است، ولی این تنها هدف داده‌کاوی نیست.

Data Mining، فرآیند تجزیه و تحلیل دسته بزرگی از اطلاعات برای تشخیص روندها و الگوها است. برنامه‌های داده کاوی Data Mining ، الگوها و ارتباطات در داده‌‌‌ها را بر اساس اطلاعاتی که کاربران درخواست دارند، تجزیه می‌‌‌کنند. شرکت‌‌‌های رسانه‌‌‌های اجتماعی از این تکنیک‌ها، برای بررسی رفتار کاربران خود، جهت تولید سود استفاده می‌‌‌کنند.

داده کاوی Data Mining چگونه کار می‌‌‌کند؟

می‌‌‌توان از آن، به روش‌‌‌های مختلفی مانند بازاریابی پایگاه داده، مدیریت ریسک اعتباری، تشخیص تقلب و فیلترکردن ایمیل‌‌‌های اسپم استفاده کرد. حتی برای تشخیص احساسات یا نظر کاربران کاربرد دارد. فرآیند داده کاوی Data Mining ، شامل پنج مرحله می شود. ابتدا سازمان‌‌‌ها داده‌‌‌ها را جمع‌‌‌آوری کرده و در انبارهای داده خود بارگذاری می‌‌‌کنند. در مرحله بعد، داده‌‌‌ها را چه در سرورهای داخلی و چه در فضای ابری ذخیره و مدیریت می‌‌‌نمایند. تحلیل‌گران کسب و کار و متخصصان فناوری اطلاعات، به داده‌‌‌ها دسترسی دارند و تعیین می‌‌‌کنند که چگونه می‌‌‌توانند آنها را سازماندهی کنند. سپس نرم‌‌‌افزار کاربردی داده‌ها را بر اساس نتایج کاربر می‌چیند. در آخر کاربر نهایی، داده‌‌‌ها را در قالبی با قابلیت اشتراک‌‌‌گذاری آسان مانند نمودار یا جدول نمایش می‌دهد. این امر در فروش ارز دیجیتال و معاملات در این حوزه، نقش مهمی خواهد داشت. استفاده از داده‌ها در صنعت خرید و فروش ارزهای دیجیتال، گامی موثر در ایمن کردن معاملات در این بخش از صنعت است که به دلیل نوسانات بسیار شدید، نیاز به معیارهای قابل مشاهده دارد.

ارتباط داده کاوی Data Mining با کریپتو

ارزش ارزهای دیجیتال مختلف مانند بیت کوین، لایت کوین، اتریوم همیشه مبهم است. از این رو، اگر مدلی بتواند ماهیت بازار ارزهای دیجیتال را برای روز بعد پیش بینی کند؛ ارزش زیادی برای سرمایه‌گذاران خواهد داشت. با استفاده از این تکنیک‌‌‌ها می‌‌‌توان از یک مدل زمانی که دارای شبکه‌‌‌های حافظه کوتاه مدت یا بلند مدت است؛ برای تعیین ارزش ارز دیجیتال در آینده استفاده نمود.

مقایسه نتایج با استفاده از سنجش داده کاوی و جهت تفسیر حال و هوای بازار در روز آتی ارزهای مختلف انجام می‌‌‌شود. بدین ترتیب، از امتیازات به دست آمده در پردازش زبان طبیعی داده‌های متنی، به عنوان ویژگی‌‌‌هایی در پیش بینی‌‌‌های خرید ارز دیجیتال استفاده می شود. در هنگام معاملات رمز ارزها و فروش ارز دیجیتال، میانگین خطای محاسبه شده بین مقادیر واقعی و پیش‌بینی شده، به عنوان روش کمی‌‌‌سازی منظور می‌شود. این روش‌‌‌‌های کمی‌سازی، برای تحلیل سناریوی امروزی بازار و با بهره مندی ازداده‌ کاوی Data Mining قابل مقایسه است.

تاریخچه داده‌ کاوی Data Mining

در سال ۱۹۶۰، کارشناسان آمار از اصطلاحات «صید داده» (Data Fishing) و «لایروبی داده» (Data Dredging) برای ارجاع به فعالیت‌های «تحلیل داده» (Data Analytics) استفاده می‌کردند. اصطلاح «داده‌کاوی» در حدود سال ۱۹۹۰ در جامعه پایگاه‌داده مورد استفاده قرار گرفت و به محبوبیت قابل توجهی دست پیدا کرد. عنوان مناسب‌تر برای فرآیند داده‌کاوی، «کشف دانش از داده» (Knowledge Discovery From Data) است.

در حال حاضر، یادگیری آماری، «تحلیل داده» و «علم داده» (Data Science) از دیگر عباراتی هستند که با معنای مشابه داده‌کاوی مورد استفاده قرار می‌گیرند از روش‌های داده‌ کاوی Data Mining در فرآیند طویل پژوهش و توسعه محصول استفاده می‌شود. از همین رو، تکامل داده‌ کاوی Data Mining نیز از هنگامی آغاز شد که داده‌های کسب‌و‌کارها روی کامپیوترها ذخیره شدند. داده‌کاوی به کاربران امکان حرکت در میان داده‌ها را در زمان واقعی می‌دهد. داده کاوي[1] فرآیند ي است که در آغاز دهۀ 90 مطرح شد و با نگرشی نو، به مسئلۀ استخراج اطلاعات از پایگاه داده ها میپردازد. از سال 1995 داده کاوي به صورت جدي وارد مباحث آمار شد و در سال 1996 ، اولین شمارة مجلۀ کشف دانش و معرفت از پایگاه داده ها[2] منتشر شد . محققانی نظیر براچمن و آناند ( 1996 ) کلیه مراحل واقع گرا یانه و رو به جلو کشف دانش از پایگاه داده ها را تشخیص دادند. در حال حاضر، داده کاوي مهمترین فناوري جهت بهره برداري موثر از داده هاي حجیم است و اهمیت آن رو به فزونی است . به طوریکه تخمین زده شده است که مقدار داده ها در جهان هر 20ماه به حدود دو برابر می رسد. در یک تحقیق که بر روي گرو ه هاي تجاري بسیار بزرگ در جمع آوري داده ها صورت گرفت مشخص گردید که 19 درصد از این گرو ه ها داراي پایگاه داده هایی با سطح بیشتر از 50 گیگا بایت میباشند و 59 درصد از آ نها انتطار دارند که در آینده اي نزدیک در چنین سطحی قرار گیرند [1]. درصنایعی مانند کارت هاي اعتباري و ارتباطات و فرشگاه هاي زنجیره اي و خریدهاي الکترونیکی و اسکنرهاي بارکد خوان هر روزه داده هاي زیادي تولید و ذخیره می شوند . افزایش سرعت کامپیوترها باعث به وجود آمدن الگوریتم هایی شده است که قدرت تجزیه و تحلیل بسیار بالایی دارند بدون اینکه محدودیتی در زمینه ظرفیت و سرعت کامپیوترها داشته باشند [2]. در سال 1989 و 1991 کارگا ههاي کشف دانش و معرفت از پایگاه داده ها توسط پیاتتسکی[3] و همکارانش برگزار شد. در فواصل سا لهاي 1991 تا 1994کارگا ههاي کشف دانش و معرفت از پایگاه داده ها توسط فییاد[4] و پیاتتسکی و دیگران برگزار شد. به طور رسمی اصطلاح داده کاوي براي اولین بار توسط فییاد در اولین کنفرانس بین المللی”کشف معرفت و داده کاوي[5]” در سال 1995 مطرح شد. امروزه کنفرانسهاي مختلفی در این زمینه در سراسر دنیا برگزار میشود. افزایش داده هاي بسیار باعث پیدایش فرصتهاي تازه براي کار در علوم مهندسی و کسب و کار شده است. زمینه داده کاوي و کشف دانش از پایگاه داده ها به عنوان یک رشته علمی جدید در مهندسی و علوم کامپیوتر ظهور کرده است. مهندسی صنایع با حوزه هاي گوناگون و در بر داشتن فرصتهاي بینظیر اکنون براي کاربرد داده کاوي و کشف دانش از پایگاه داده ها و براي توسعه مفاهیم و روشهاي تازه در این زمینه آماده است. فرآیندهاي صنعتی زیادي اکنون براي مطمئن شدن از کیفیت سفارشات محصول و کاهش هزینه هاي محصول به طور خودکار و کامپیوتري شده اند.

کاربرد داده‌کاوی Data Mining در دنیای واقعی

علم داده کاوی Data Mining، یکی از صنایع پرطرفدار در فناوری امروز است. این حوزه نوآوری‌‌‌های زیادی را در زیر دامنه‌های خود مانند Predictive Analytics، Diagnostic Analytics و Descriptive Analytics ایجاد می‌کند. هدف علم داده استخراج، بینش کامل و برداشتی از داده‌ها، اعم از داده‌های ساختاریافته و بدون ساختار است. حوزه این دانش روز شامل، یادگیری ماشینی، تجزیه و تحلیل داده‌ها، آمار و سایر روش‌‌‌های پیشرفته می باشد و از آن برای به دست‌‌‌آوردن درک درستی از فرآیندهای واقعی استفاده می‌‌‌شود. غول‌‌‌های شرکتی مانند فیس بوک، گوگل، اپل و آمازون هر روز حجم زیادی از داده‌ها را استخراج می کنند. حوزه وسیع داده کاوی، توجه بیشتر دانشمندان این حوزه را برانگیخته است. آن‌ها وظیفه دارند معنا را از داده‌ها استخراج کنند و به حل مشکلات دنیای واقعی کمک نمایند. این روش، جزء حیاتی ابتکارات تحلیلی موفق در بازار امروز است. اطلاعاتی که تولید می‌‌‌‌کند می‌تواند در هوش تجاری (BI) و برنامه‌‌‌‌های تحلیلی پیشرفته که شامل تجزیه و تحلیل داده‌‌‌‌ها است، استفاده شود. همچنین، در برنامه‌های تحلیلی که داده‌های جریانی را هنگام ایجاد یا جمع‌آوری بررسی می‌کنند، مورد استفاده قرار می‌گیرد.

Data Miningداده کاوی در جنبه‌‌‌های مختلف برنامه‌‌‌ریزی استراتژی‌‌‌های تجاری و مدیریت عملیات کمک می‌‌‌کند. این شامل برنامه‌‌‌های کاربردی مانند بازاریابی، تبلیغات، فروش و پشتیبانی مشتری است.

به علاوه داده کاوی، برنامه‌هایی همچون تولید، مدیریت زنجیره تامین، امور مالی، منابع انسانی و پیش بینی‌های بازارهایی با ایمنی کمتر را شامل می شود.

مقایسه بلاک‌‌‌چین و داده کاوی Data Mining

در نگاهی ساده به بلاک‌‌‌چین و داده کاوی Data Mining، می‌‌‌توان گفت که هر دوی این فناوری‌ها، داده‌ها را در مرکز خود دارند. در حالی که بلاک چین داده‌ها را تأیید و ثبت می‌‌‌کند، دیگری بر استخراج بینش‌‌‌های معنادار از داده‌‌‌ها برای حل مسئله تمرکز می‌‌‌‌‌‌نماید. هر دوی این فناوری‌‌‌ها از الگوریتم‌‌‌هایی برای کنترل تعاملات با بخش‌‌‌های مختلف داده استفاده می‌‌‌کنند. این می‌‌‌تواند در خرید و فروش حرفه‌‌‌ای ارز دیجیتال و پیش بینی‌‌‌های موثر این بازار، نقش داشته باشد.

تکنیک‌‌‌های دیتا ماینینگ یا داده کاوی Data Mining

Data Miningداده کاوی از الگوریتم‌‌‌ها و تکنیک‌‌‌های مختلف برای تبدیل مجموعه‌‌‌های بزرگ داده به خروجی مفید استفاده می‌‌‌کند. محبوب‌‌‌ترین انواع تکنیک‌‌‌های آن عبارتند از:

قواعد انجمنی (Association Rules)

Association Rules که به آن تحلیل سبد بازار نیز گفته می‌‌‌شود، روابط بین متغیرها را جستجو می‌کند. این تکنیک داده کاوی Data Mining، به خودی خود ارزش اضافی را در مجموعه داده ایجاد می‌‌‌نماید. به عنوان مثال، این تکنیک، تاریخچه فروش یک شرکت را جستجو می‌کند تا ببیند کدام محصولات بیشتر خریداری می‌‌‌شوند. با این اطلاعات، فروشگاه‌ها می‌‌‌توانند بر اساس آن برنامه‌ریزی، تبلیغ و پیش بینی کنند. همین امر در خصوص ارزهای رمزنگاری شده نیز صادق است. با بررسی تغییرات رمز ارزها در بازار و نوسانات ایجاد شده، می‌توان پیش از خرید ارزهای دیجیتال، آنها را پیش بینی نمود.

طبقه بندی (Classification)

طبقه‌‌‌بندی از کلاس‌‌‌های از پیش تعریف شده، برای اختصاص دادن به اشیاء استفاده می‌‌‌کند. این کلاس‌ها ویژگی‌های اقلام را توصیف می‌کنند یا نشان می‌دهند که نقاط داده با کدامیک مشترک هستند. این تکنیک اجازه می‌‌‌دهد تا داده‌‌‌های زیربنایی به طور منظم‌‌‌تری دسته‌‌‌بندی و در ویژگی‌‌‌های مشابه یا خطوط تولید خلاصه شوند.

درخت تصمیم گیری (Decision Trees)

این تکنیک برای طبقه‌‌‌بندی یا پیش‌‌‌بینی یک نتیجه بر اساس فهرستی از معیارها یا تصمیمات استفاده می‌‌‌شود. در این مرحله، برای درخواست ورودی، از یک سری سوالات استفاده می‌‌‌شود که مجموعه داده را بر اساس پاسخ‌‌‌های داده شده مرتب می‌‌‌کند.

شبکه عصبی (Neural Networks)

این تکنیک، داده‌‌‌ها را با استفاده از گره‌‌‌ها پردازش می‌‌‌کند. این گره‌‌‌ها از ورودی‌‌‌ها، وزن‌‌‌ها و یک خروجی تشکیل شده‌‌‌اند. داده‌‌‌ها از طریق یادگیری نظارت شده ترسیم می‌‌‌شوند.

تحلیل‌های پیش بینی کننده (Predictive Analysis)

این روش Data Mining، در تلاش است تا از اطلاعات تاریخی برای ساخت مدل‌های گرافیکی یا ریاضی جهت پیش‌بینی نتایج آینده استفاده کند. این تکنیک داده کاوی که با تجزیه و تحلیل رگرسیون همپوشانی دارد؛ با هدف حمایت از یک رقم ناشناخته در آینده، بر اساس داده‌‌‌های فعلی عمل می‌‌‌کند.

داده‌کاوی (Data mining) برخلاف چیزی که به نظر می‌رسد، اختراع و نوآوری چندان تازه‌ای در عصر دیجیتال به شمار نمی‌رود. از قدمت داده‌کاوی بیش از یک قرن می‌گذرد، با این حال، در دهه 1930 مورد استقبال عمومی قرار گرفت. از اولین مواردی که داده‌کاوی به صورت عملی مورد استفاده قرار گرفته می‌توان به ایده ماشین همه‌کاره آلن تورینگ اشاره کرد؛ عملکرد این ماشین چیزی شبیه به رایانه‌های امروزی بود که توانایی انجام انواع محاسبات را داشت. داده‌کاوی Data Mining فرایندی است که ضمن آن، حجم عظیمی از داده‌های آماری مربوط به وضعیت کسب و کار (یا هر نوع داده دیگری مثلاً داده‌های اجتماعی) آنالیز می‌شوند تا هوش تجاری را بتوان کشف کرد (هوش تجاری یا BI: به مجموعه ابزارها، برنامه‌های کاربردی و روش‌هایی گفته می‌شود که به سازمان‌ها کمک می‌کند تا داده‌ها را از منابع داخلی و خارجی گردآوری و آنها را آماده آنالیز کنند). به کمک هوش تجاری می‌توان مشکلات کسب و کار را حل کرد، خطرات را کاهش داد و فرصت‌های تازه را پیدا کرد. نام این شاخه از علم داده (Data Mining)، از شباهتی که میان جستجوی اطلاعات ارزشمند در پایگاه داده و حفاری در دل کوه (Mining) وجود دارد نشات گرفته است چون ارزش پنهان درون داده‌ها را تنها از طریق غربال مقادیر عظیم داده یا سنگ می‌توان یافت.

داده‌کاوی Data Mining قادر است به راحتی به پرسش‌های مرتبط با کسب و کار پاسخ دهد، حال آنکه در گذشته زمان زیادی صرف پاسخگویی به آنها می‌شد. کاربران می‌توانند با استفاده از انواع تکنیک‌های آماری و آنالیز داده، الگوها و گرایش‌های تکرارشونده و روابط بین پارامترها را شناسایی کنند. با به‌کارگیری نتایج و یافته‌های آنالیز، می‌توان به پیش‌بینی آینده پرداخت و تاثیراتی عمیق را بر حوزه کسب و کار مربوطه رقم زد. داده‌کاوی در بخش‌های مختلف تحقیقات بازار مانند فروش، بازاریابی، توسعه محصول و حوزه‌های مختلفی نظیر بهداشت و درمان و نیز آموزش کاربرد دارد. استفاده صحیح از داده‌کاوی می‌تواند مزیت بزرگی در مقایسه با رقبای شما برایتان ایجاد کند؛ زیرا به شما کمک می‌کند تا اطلاعات بیشتری از مشتریان خود کسب کنید، استراتژی‌های بازاریابی موثرتری را ارائه کنید، درآمدتان را افزایش دهید و هزینه‌های اضافی را حذف کنید.

نکات کلیدی مفهوم دیتا ماینینگ Data Mining

داده‌کاوی Data Mining فرایند آنالیز حجم عظیمی از داده‌ها به منظور کشف گرایش‌های رایج و الگوهای تکرارشونده است. داده‌کاوی Data Mining کاربردهای متعددی برای سازمان‌ها دارد از جمله شناسایی علاقه‌مندی‌های مشتریان، رفتار خرید آنها و یا کالاهای محبوب آنها. به این ترتیب می‌توان موارد تقلب و تخلف و نیز اسپم‌ها راهم تشخیص داد و جلوی آنها را گرفت. داده‌کاوی Data Mining بر مبنای اطلاعاتی که کاربران تقاضا یا فراهم می‌کنند، الگوها و روابط معمول را بر هم می‌زند. کمپانی‌های شبکه‌های اجتماعی به کمک داده‌کاوی و تبدیل داده‌های کاربران به یک محصول قابل فروش، درآمد خود را چند برابر می‌کنند. به تازگی این کاربرد داده‌کاوی Data Mining با انتقادهای فراوانی همراه شده است؛ چرا که اطلاعات شخصی کاربران این شبکه‌ها بدون آگاهی آنها و جهت شناسایی اولویت‌هایشان تحت آنالیز قرار می‌گیرد.

مزایای داده‌کاوی Data Mining

هر دو سال، حجم داده‌های جهان دو برابر می‌شود. 90 درصد فضای دیجیتال را اطلاعات سازمان‌نیافته تشکیل می‌دهد؛ اما این حجم عظیم اطلاعات نباید فریبمان بدهد، زیرا اطلاعات بیشتر لزوماً به معنای دانش کاربردی بیشتر نیست. داده‌کاوی Data Mining این امکان را به شما می‌دهد که:

داده‌های تکراری و بی‌نظم را غربال کنید. اطلاعات مرتبط را شناسایی کرده و از آنها در راستای ارزیابی نتایج مناسب استفاده کنید. سرعت تصمیم‌گیری آگاهانه را افزایش دهید.

سرعت ورود داده‌ها به عرصه کسب و کارها بی‌سابقه است. امروز دیگر کسب و کاری داده‌محور بودن، یک انتخاب نیست؛ اکنون موفقیت کسب و کارها تا حد زیادی به کشف یافته‌ها و اطلاعات ارزشمند از دل کلان داده‌ها و به‌کارگیری آنها به بهترین شکل در تصمیمات و فرایندهای کسب و کار بستگی دارد؛ اما مشکل اینجاست که حجم بالای داده‌ها، مدیریت آنها را به کاری طاقت‌فرسا تبدیل کرده است.

داده‌کاوی Data Mining به کسب و کارها کمک می‌کند تا با درک گذشته و حال، آینده‌ای بهینه‌تر را خلق کنند و پیش‌بینی دقیق‌تری از اتفاقات آتی داشته باشند. برای مثال، داده‌کاوی به کمک ارزیابی تاریخچه مشتریان به شما می‌گوید که کدام مشتریان سودآورتر هستند و کدام مشتریان در صورت ارائه پیشنهادی ویژه رغبت نشان می‌دهند. این مساله به صاحبان کسب و کار کمک می‌کند تا نرخ بازگشت سرمایه (ROI)‌ خود را ارتقا دهند، زیرا می‌توانند محصولات پیشنهادی و آفرهای تخفیف را تنها برای آن دسته از مشتریان ارائه کنند که به احتمال قوی، پاسخ‌شان به آن پیشنهاد مثبت است. از داده‌کاوی برای حل بسیاری از مشکلات داده‌محور کسب و کارها استفاده می‌شود، از جمله:

افزایش درآمد. آشنایی با دسته‌های مختلف مشتریان و سلایق آنها. جذب مشتریان جدید. افزایش آمار فروش مکمل (Cross-selling) و بیش‌فروشی (Up-selling). نگهداشت مشتریان کنونی و بهبود قابل‌ توجه وفاداری آنها. ارتقای نرخ بازگشت سرمایه در کمپین‌های بازاریابی. تشخیص تقلب و کلاهبرداری. شناسایی ریسک اعتباری. نظارت بر عملکرد عملیاتی (Operational performance).

با به‌کارگیری تکنیک‌های داده‌کاوی Data Mining، کلیه تصمیمات بر مبنای هوش تجاری خواهند بود، به جای آنکه واکنش‌های غریزی و احساسی خود را در آنها دخیل کنیم و از این رو، نتایج معتبرتری به دست می‌آیند و کسب و کارها را از رقبایشان پیش می‌اندازند. خوشبختانه امروزه، تکنولوژی‌های بزرگ مقیاس پردازش‌کننده داده مانند یادگیری ماشین و هوش مصنوعی، به مراتب قابل‌دسترس‌تر از گذشته هستند که این مساله باعث شده کسب و کارهای بزرگ بتوانند حجم بسیار عظیمی از داده‌ها را در چند دقیقه یا ساعت آنالیز کرده (در گذشته این فرایند روزها و هفته‌ها زمان می‌برد) و سریع‌تر رشد کنند.