支持向量機(jī)—從推導(dǎo)到python手寫

筆者比較懶能截圖的地方都截圖了。

網(wǎng)站的建設(shè)創(chuàng)新互聯(lián)公司專注網(wǎng)站定制,經(jīng)驗豐富,不做模板,主營網(wǎng)站定制開發(fā).小程序定制開發(fā),H5頁面制作!給你煥然一新的設(shè)計體驗!已為服務(wù)器托管等企業(yè)提供專業(yè)服務(wù)。

支持向量機(jī)分為三類：

（1）線性可分支持向量機(jī)，樣本線性可分，可通過硬間隔最大化訓(xùn)練一個分類器。

（2）線性支持向量機(jī)，樣本基本線性可分，可通過軟間隔最大化訓(xùn)練一個分類器。

（3）非線性支持向量機(jī)，樣本線性不可分，可通過核函數(shù)和軟間隔最大化訓(xùn)練一個分類器。

上面最不好理解的恐怕就是硬間隔和軟間隔了，

說白了硬間隔就是說存在這么一個平面，可以把樣本完全正確無誤的分開，當(dāng)然這是一種極理想的情況，現(xiàn)實中不存在，所以就有了軟間隔。

軟間隔說的是，不存在一個平面可以把樣本完全正確無誤的分開，因此呢允許一些樣本被分錯，怎么做呢就是加入松弛變量，因為希望分錯的樣本越小越好，因此松弛變量也有約束條件。加入松弛變量后，問題就變?yōu)榫€性可分了，因為是每一個樣本都線性可分，因此松弛變量是針對樣本的，每一個樣本都對應(yīng)一個不同的松弛變量。

其實感知機(jī)說白了就是找到一條直線把樣本點分開，就是上方都是一類，下方是另一類。當(dāng)然完全分開是好事，往往是不能完全分開的，因此就存在一個損失函數(shù)，就是誤分類點到這個平面的距離最短：

這里啰嗦一句，誤分類點y*(wx+b)0，所以加個負(fù)號在前邊。

一般情況下||w||都是可以縮放，那么我們把它縮放到1，最后的目標(biāo)函數(shù)就變成了

間隔就是距離，我們假設(shè)分離超平面為 ，那么樣本點到這個平面的距離可以記為 。我們都知道通過感知機(jī)劃分的點，超平面上方的點 ，下方的點 ，然后通過判斷 的值與y的符號是否一致來判斷分類是否正確。根據(jù)這個思路函數(shù)間隔定義為：

支持向量的定義來源于幾何間隔，幾何間隔最直接的解釋是離分隔超平面最近點的距離，其他任何點到平面的距離都大于這個值，所以幾何間隔就是支持向量。然后呢同樣道理，w和b是可以縮放的，所以定義支持向量滿足如下條件：

再通俗一點說，支持向量是一些點，這些點到分隔平面的距離最近，為了便于表示，把他們進(jìn)行一下縮放計算，讓他們滿足了wx+b=+-1.

核函數(shù)是支持向量機(jī)的核心概念之一，它存在的目的就是將維度轉(zhuǎn)換之后的計算簡化，達(dá)到減少計算量的目的。我們都知道支持向量機(jī)求的是間距最大化，通常情況下我們求得的alpha都等于0，因此支持向量決定了間距最大化程度。

核函數(shù)的形式是這樣的

其中x(i)和x(j)都是向量，他們兩個相乘就是向量內(nèi)積，相乘得到一個數(shù)。剛才說了目標(biāo)函數(shù)一般只和支持向量有關(guān)，因此在做核函數(shù)計算之前，實際就是選擇的支持向量進(jìn)行計算。

這個寫完下面得再補(bǔ)充

我們知道了支持向量的概念，那么支持向量機(jī)的目標(biāo)函數(shù)是要使這兩個支持向量之間的距離盡可能的遠(yuǎn)，因為這樣才能更好地把樣本點分開，當(dāng)然支持向量也要滿足最基本的約束條件，那就是分類正確，還有就是其他點到分隔平面的距離要大于等于支持向量到分隔平面的距離。

這種凸優(yōu)化問題都可以通過拉格朗日算子進(jìn)行優(yōu)化，就是把約束條件通過拉格朗日系數(shù)放到目標(biāo)函數(shù)上。這部分基礎(chǔ)知識，就是拉格朗日算法可以將等式約束和不等式約束都加到目標(biāo)函數(shù)上，完成求解問題的轉(zhuǎn)換，但是要滿足一些約束條件，也就是我們后邊要說的kkt條件。

這里有個細(xì)節(jié)就是轉(zhuǎn)換時候的加減號問題，這個和目標(biāo)函數(shù)還有約束的正負(fù)號有關(guān)。一般這么理解，就是求最小化問題時候，如果約束是大于0的，那么拉個朗日算子可以減到這一部分，這樣一來目標(biāo)函數(shù)只能越來越小，最優(yōu)解就是約束為0的時候，這個時候和沒有約束的等價，再求最小就是原問題了。

這里是最小化問題，直接減掉這部分約束，然后后半部分永遠(yuǎn)大于等于0所以這個式子的值是要小于原來目標(biāo)函數(shù)值的。我們知道當(dāng)x滿足原問題的約束條件的時候，最大化L就等于那個原目標(biāo)函數(shù)。所以我們可以把這個問題轉(zhuǎn)化為：

把它帶回去原來的目標(biāo)函數(shù)中，整理一下。

這個時候只要求最優(yōu)的α，就可以求出w和b了。我們上邊做了那么一堆轉(zhuǎn)換，這個過程要滿足一個叫做kkt條件的東西，其實這個東西就是把一堆約束條件整理到一起。

（1）原有問題的可行性，即h(x )=0,g(x )0

放到這里就是：

SMO算法的核心思想是求出最優(yōu)化的α，然后根據(jù)之前推導(dǎo)得到的w,b,α之間的關(guān)系計算得到w和b，最后的計算公式是：

現(xiàn)在的問題就是怎么求α了。

SMO算法總共分兩部分，一部分是求解兩個α的二次規(guī)劃算法，另一部分是選擇兩個α的啟發(fā)式算法。

先說這個選擇α的啟發(fā)式算法部分：大神可以證明優(yōu)先優(yōu)化違反kkt條件的α可以最快獲得最優(yōu)解，至于咋證明的，就先不看了。

在講支持向量機(jī)的求解算法時候，直接給出了核函數(shù)K，那么怎么去理解核函數(shù)呢。核函數(shù)的作用是解決樣本點在高維空間的內(nèi)積運(yùn)算問題，怎么理解呢，通常的分類問題都是有很多個特征的，然后為了達(dá)到現(xiàn)線性可分，又會從低維映射到高維，樣本量再一多計算量非常大，因此先通過函數(shù)進(jìn)行一個轉(zhuǎn)換，減少乘法的計算量。

要理解核函數(shù)，先理解內(nèi)積運(yùn)算，內(nèi)積運(yùn)算實際是兩個向量，對應(yīng)位置相乘加和，比如我有x1 = [v1,v2], x2=[w1,w2]，那么x1和x2的內(nèi)積計算方法就是：v1w1+v2w2。

如果上面那種情況線性不可分，需要到高維進(jìn)行映射，讓數(shù)據(jù)變得線性可分，然后數(shù)據(jù)變?yōu)槲寰S的，即v1 2+v2 2+v1+v2+v1v2，然后再進(jìn)行一次內(nèi)積計算，數(shù)據(jù)變?yōu)? 。

稍作變換，可以變?yōu)? ，形式展開和上邊那個長式子差不多，然后其實可以映射內(nèi)積相乘的情況，所以可以進(jìn)行核函數(shù)的變化。

問題在于，當(dāng)你需要顯式的寫出來映射形式的時候，在維度很高的時候，需要計算的量太大，比如x1有三個維度，再進(jìn)行映射就有19維度了，計算很復(fù)雜。如果用核函數(shù)，還是在原來低維度進(jìn)行運(yùn)算，既有相似的效果（映射到高維），又低運(yùn)算量，這就是核函數(shù)的作用了。

核函數(shù)的種類：

這部分的核心在于SMO算法的編寫。有待補(bǔ)充。

Python中怎樣計算兩個向量的內(nèi)積

這是從物理實踐中來,在物理計算中,經(jīng)常會用到一個向量投影到另一個向量的方向,然后再乘以另一個向量的模.而且這樣的算法表示固定的物理意義.由于經(jīng)常會遇到這種問題,于是有人就這樣定義了內(nèi)積,是為了便于書寫和直觀辨認(rèn).一個式子太長或太復(fù)雜就會給計算帶來很多的不便,定義了簡便的式子有助有從數(shù)學(xué)上理解物理.至于為什么兩個向量的內(nèi)積是常數(shù),這就是定義,定義成常數(shù)罷了.內(nèi)積的公式還是很簡單的,外積的就復(fù)雜得多.

2020-05-22 第十三章 支持向量機(jī)模型(python)

SVM 是 Support Vector Machine 的簡稱，它的中文名為支持向量機(jī)，屬于一種有監(jiān)督的機(jī)器學(xué)習(xí)算法，可用于離散因變量的分類和連續(xù)因變量的預(yù)測。通常情況下，該算法相對于其他單一的分類算法（如 Logistic 回歸、決策樹、樸素貝葉斯、 KNN 等）會有更好的預(yù)測準(zhǔn)確率，主要是因為它可以將低維線性不可分的空間轉(zhuǎn)換為高維的線性可分空間。

“分割帶”代表了模型劃分樣本點的能力或可信度，“分割帶”越寬，說明模型能夠?qū)颖军c劃分得越清晰，進(jìn)而保證模型泛化能力越強(qiáng)，分類的可信度越高；反之，“分割帶”越窄，說明模型的準(zhǔn)確率越容易受到異常點的影響，進(jìn)而理解為模型的預(yù)測能力越弱，分類的可信度越低。

線性可分的 所對應(yīng)的函數(shù)間隔滿足 的條件，故 就等于 。所以，可以將目標(biāo)函數(shù) 等價為如下的表達(dá)式：

假設(shè)存在一個需要最小化的目標(biāo)函數(shù) ，并且該目標(biāo)函數(shù)同時受到 的約束。如需得到最優(yōu)化的解，則需要利用拉格朗日對偶性將原始的最優(yōu)化問題轉(zhuǎn)換為對偶問題，即：

分割面的求解

分割面的表達(dá)式

對于非線性SVM模型而言，需要經(jīng)過兩個步驟，一個是將原始空間中的樣本點映射到高維的新空間中，另一個是在新空間中尋找一個用于識別各類別樣本點線性“超平面”。

假設(shè)原始空間中的樣本點為 ，將樣本通過某種轉(zhuǎn)換 映射到高維空間中，則非線性SVM模型的目標(biāo)函數(shù)可以表示為：

其中，內(nèi)積 可以利用核函數(shù)替換，即 。對于上式而言，同樣需要計算最優(yōu)的拉格朗日乘積 ，進(jìn)而可以得到線性“超平面” 與 的值：

假設(shè)原始空間中的兩個樣本點為 ，在其擴(kuò)展到高維空間后，它們的內(nèi)積 如果等于樣本點 在原始空間中某個函數(shù)的輸出，那么該函數(shù)就稱為核函數(shù)。

線性核函數(shù)的表達(dá)式為 ，故對應(yīng)的分割“超平面”為：

多項式核函數(shù)的表達(dá)式為 ，故對應(yīng)的分割“超平面”為：

高斯核函數(shù)的表達(dá)式為 ，故對應(yīng)的分割“超平面”為：

Sigmoid 核函數(shù)的表達(dá)式為 ，故對應(yīng)的分割“超平面”為：

在實際應(yīng)用中， SVM 模型對核函數(shù)的選擇是非常敏感的，所以需要通過先驗的領(lǐng)域知識或者交叉驗證的方法選出合理的核函數(shù)。大多數(shù)情況下，選擇高斯核函數(shù)是一種相對偷懶而有效的方法，因為高斯核是一種指數(shù)函數(shù)，它的泰勒展開式可以是無窮維的，即相當(dāng)于把原始樣本點映射到高維空間中。

output_13_0.png

當(dāng)前文章：python向量積函數(shù),python求積函數(shù)
文章轉(zhuǎn)載：http://vcdvsql.cn/article32/hsphsc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供關(guān)鍵詞優(yōu)化、全網(wǎng)營銷推廣、面包屑導(dǎo)航、域名注冊、商城網(wǎng)站、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)