數(shù)據(jù)挖掘在質(zhì)量管理系統(tǒng)中的應(yīng)用實(shí)例

　　1 數(shù)據(jù)挖掘簡介

　　1.1 數(shù)據(jù)挖掘的基本步驟

　　數(shù)據(jù)挖掘指的是從大型數(shù)據(jù)庫或數(shù)據(jù)倉庫中提取人們感興趣的知識，這些知識是隱含的、事先未知的潛在有用信息。數(shù)據(jù)挖掘一般包括6個(gè)步驟，依次是定義問題、準(zhǔn)備數(shù)據(jù)、瀏覽數(shù)據(jù)、生成模型、瀏覽和驗(yàn)證模型、部署更新模型，如圖1所示。

　　圖1 數(shù)據(jù)挖掘步驟

　�。�1）定義問題

　　清晰地定義出業(yè)務(wù)問題，確定數(shù)據(jù)挖掘的目的。

　�。�2）準(zhǔn)備數(shù)據(jù)

　　數(shù)據(jù)準(zhǔn)備包括：選擇數(shù)據(jù)——在大型數(shù)據(jù)庫和數(shù)據(jù)倉庫目標(biāo)中提取數(shù)據(jù)挖掘的目標(biāo)數(shù)據(jù)集；數(shù)據(jù)預(yù)處理——進(jìn)行數(shù)據(jù)再加工，包括檢查數(shù)據(jù)的完整性及數(shù)據(jù)的一致性、去噪聲，填補(bǔ)丟失的域，刪除無效數(shù)據(jù)等。

　�。�3）瀏覽數(shù)據(jù)

　　數(shù)據(jù)挖掘過程的第3步就是瀏覽已準(zhǔn)備的數(shù)據(jù)，以便在創(chuàng)建模型時(shí)作出正確的決策。瀏覽技術(shù)包括計(jì)算最大值和最小值，計(jì)算平均偏差和標(biāo)準(zhǔn)偏差，以及查看數(shù)據(jù)的分布。瀏覽完數(shù)據(jù)之后，便可確定數(shù)據(jù)集是否包含缺陷數(shù)據(jù)，然后制訂糾正這些問題的策略。

　�。�4）生成模型

　　根據(jù)數(shù)據(jù)功能的類型和和數(shù)據(jù)的特點(diǎn)選擇相應(yīng)的算法，在凈化和轉(zhuǎn)換過的數(shù)據(jù)集上進(jìn)行數(shù)據(jù)挖掘，生成模型。

　�。�5）瀏覽和驗(yàn)證模型

　　對數(shù)據(jù)挖掘的獲得的模型進(jìn)行解釋和評價(jià)，轉(zhuǎn)換成為能夠最終被用戶理解的知識。

　�。�6）部署和更新模型

　　將性能最佳的模型部署到生產(chǎn)環(huán)境，更新模型是部署策略的一部分。

　　1.2 SQL Server數(shù)據(jù)挖掘和DMX

　　Microsoft SQL Server Analysis Services（SSAS）提供了用于數(shù)據(jù)挖掘的工具，可以借助這些工具標(biāo)識數(shù)據(jù)中的規(guī)則和模式，從而確定出現(xiàn)問題的原因并預(yù)測將來將要出現(xiàn)的問題。Analysis Services可以使用來自關(guān)系數(shù)據(jù)庫和OLAP數(shù)據(jù)庫的數(shù)據(jù)集以及可用來調(diào)查數(shù)據(jù)的各種算法。SQL Server提供了各種可用于數(shù)據(jù)挖掘的環(huán)境和工具。

　�。�1）數(shù)據(jù)挖掘向?qū)?/p>

　　在Business Intelligence Development Studio中，可以從數(shù)據(jù)挖掘向?qū)ч_始創(chuàng)建數(shù)據(jù)挖掘解決方案。該向?qū)в糜谥笇?dǎo)完成創(chuàng)建數(shù)據(jù)挖掘結(jié)構(gòu)和初始相關(guān)挖掘模型的過程，包括選擇算法類型和數(shù)據(jù)源以及定義事例表等任務(wù)。

　　在使用數(shù)據(jù)挖掘向?qū)�刨建了挖掘結(jié)構(gòu)和初始挖掘模型后，打開數(shù)據(jù)挖掘設(shè)計(jì)器。在該設(shè)計(jì)器中，可以管理挖掘結(jié)構(gòu)，創(chuàng)建新的挖掘模型，部署、瀏覽、比較和創(chuàng)建基于現(xiàn)有挖掘模塊的預(yù)測。

　�。�2）數(shù)據(jù)挖掘擴(kuò)展插件（DMX）

　　在SSAS中可以使用數(shù)據(jù)挖掘擴(kuò)展插件（DMX）語言創(chuàng)建和處理數(shù)據(jù)挖掘模型。通過使用DMX創(chuàng)建新數(shù)據(jù)挖掘模型的結(jié)構(gòu)，使用DMX語句創(chuàng)建、處理、刪除、復(fù)制、瀏覽和預(yù)測數(shù)據(jù)挖掘模型，為這些模型定型并對其進(jìn)行瀏覽、管理和預(yù)測。DMX由數(shù)據(jù)定義語言（DDL）語句、數(shù)據(jù)操作語言（DML）語句以及函數(shù)和運(yùn)算符構(gòu)成。

　�。�3）SQ L Server Management Studio

　　在創(chuàng)建了挖掘模型并將其部署到服務(wù)器上后，即可使用SQL Server Management Studio來執(zhí)行管理和瀏覽任務(wù)，如查看和處理模型，以及創(chuàng)建針對這些模型的預(yù)測等。Management Studio也包含一個(gè)查詢編輯器，可使用該編輯器來設(shè)計(jì)和執(zhí)行數(shù)據(jù)挖掘擴(kuò)展插件（DMX）查詢。

　　（4）Integration Services數(shù)據(jù)挖掘任務(wù)和轉(zhuǎn)換

　　SQL Server Integration Services（SSIS）提供了一些工具來自動完成常見的數(shù)據(jù)挖掘任務(wù)，如處理挖掘模型和創(chuàng)建預(yù)測查詢等。例如，如果有一個(gè)根據(jù)潛在客戶的數(shù)據(jù)集生成的挖掘模型，那么，就可以創(chuàng)建一個(gè)Integration Services包，該包可在每次用新客戶更新數(shù)據(jù)集時(shí)，自動更新該模型。并且可以基于該包來創(chuàng)建預(yù)測，將潛在客戶分入兩個(gè)表。一個(gè)表里中包含的是可能的客戶，另一個(gè)表中包含的是不可能購買任何產(chǎn)品的客戶。

　�。�5）SSAS的算法

　　Microsoft決策樹算法是由SSAS提供的分類和回歸算法，用于對離散和連續(xù)屬性進(jìn)行預(yù)測性建模。Microsoft Naive Bayes算法是SSAS提供的一種分類算法，用于預(yù)測性建模。該算法在假定列互不相關(guān)的前提下計(jì)算輸入列和可預(yù)測列之間的條件概率。Microsoft時(shí)序算法是SSAS提供的回歸算法，用于創(chuàng)建數(shù)據(jù)挖掘模型以預(yù)測連續(xù)列，如預(yù)測方案中的產(chǎn)品銷售額。時(shí)序模型的預(yù)測僅根據(jù)算法在創(chuàng)建模型時(shí)從原始數(shù)據(jù)集派生的趨勢，而決策樹類算法依靠給定輸入列來預(yù)測可預(yù)測列的模型。Microsoft神經(jīng)網(wǎng)絡(luò)算法通過構(gòu)造多層感知器網(wǎng)絡(luò)創(chuàng)建分類和回歸挖掘模型，與Microsoft決策樹算法相類似，當(dāng)給定可預(yù)測屬性的每個(gè)狀態(tài)時(shí)，神經(jīng)網(wǎng)絡(luò)算法可以計(jì)算輸入屬性的每個(gè)可能狀態(tài)的概率。并且可以基于這些概率預(yù)測被預(yù)測屬性的結(jié)果。

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]