數(shù)據(jù)挖掘是如何運作的？

讀懂數(shù)據(jù)等于掌握財富密碼。但并不是所有數(shù)據(jù)都有價值，這就是數(shù)據(jù)挖掘的價值所在，本文介紹大數(shù)據(jù)挖掘的全流程

大多數(shù)時候當人們搜索數(shù)據(jù)挖掘的時候，他們所感興趣的是整個流程，數(shù)據(jù)挖掘只是流程中的一個環(huán)節(jié)。數(shù)據(jù)挖掘也可以被理解為為如何在數(shù)據(jù)中發(fā)現(xiàn)“知識”

從原始數(shù)據(jù)開始，使用計算和算法工具 ，直到獲得有價值的數(shù)據(jù)，我們可以稱之為知識，步驟如圖

Data Mining Process

從原始數(shù)據(jù)到進行數(shù)據(jù)的選擇得到Target Data

假設我們我們有很多關于某種現(xiàn)象的信息現(xiàn)象，我們想得出一些在這種情況下，關于這個問題的知識 。有時我們有一些數(shù)據(jù)不是有用的數(shù)據(jù)，有些數(shù)據(jù)還沒有準備好在這種情況下被使用
。例如，我們要做的基本處理是顏色選擇 ，然后我們得到數(shù)據(jù)到目標日期，有了這個目標數(shù)據(jù) ，我們可以對這個目標數(shù)據(jù)做轉(zhuǎn)換處理 。在此之前，我們需要對數(shù)據(jù)進行預處理

方法一：異常值檢測

Outlier Detection

假設我們有數(shù)據(jù)的變量分布
，我們可以看到或者我們也可以用算法來檢測這個紅色的點是一個離群點，在某些情況下一些算法可能無法正常工作 。如果我們的數(shù)據(jù)與整個分布非常不同與整個分布非常不同，這被稱為離群點
，我們可以嘗試去掉并得到這個經(jīng)過處理的數(shù)據(jù)

Red Outlier

方法二 ：檢測缺失值

Detect Missing Values

假設我們有這個數(shù)據(jù)分布
，我們可以來做一個估計  。使用那條綠線
 ，所以我們可以嘗試填充估計值

Detect Missing Values

接下來，是數(shù)據(jù)歸一化處理 ，因為有時我們有一些數(shù)據(jù)的值是從0到1，另一些數(shù)據(jù)可能是文本數(shù)據(jù)。另一個步驟是尋找相關的變量 ，假設我們有這兩個變量 
，我們可以看到它們有很高的相關性，這意味著，使用這兩個變量是沒有用的

Correlated Variables

我們可以用這些變量做什么呢