核函数的定义和性质
核函数（Kernel Function）在机器学习和统计学中起着至关重要的作用。它是一种特殊的函数，可以将输入空间中的数据映射到更高维的特征空间，使得原本线性不可分的问题可以在新的特征空间中变得线性可分。
定义
原始定义：
设
X \mathcal{X}
X
R n \mathbb {R}^n
R
n
H \mathcal{H}
H
X \mathcal{X}
X
H \mathcal{H}
H
ϕ ( x ) : X → H \phi(x): \mathcal{X}\rightarrow\mathcal{H}
ϕ
(
x
)
:
X
→
H
x, y ∈ X x,y\in\mathcal{X}
x
,
y
∈
X
K ( x, y ) K(x,y)
K
(
x
,
y
)
= < ϕ ( x ), ϕ ( y ) > K(x,y)=<\phi(x),\phi(y)>
K
(
x
,
y
)
<
ϕ
(
x
)
,
ϕ
(
y
)
简明定义：
设
X \mathcal{X}
X
R n \mathbb {R}^n
R
n
K ( x, y ) K(x,y)
K
(
x
,
y
)
x i ∈ X, i = 1, 2,..., m x_i\in\mathcal{X}, i=1,2,...,m
x
i
∈
X
,
i
1
,
2
,
.
.
.
,
m
K ( x, y ) K(x,y)
K
(
x
,
y
)
K = [ K ( x i, x j ) ] m × m K=[K(x_i,x_j)]_{m\times m}
K
[
K
(
x
i
,
x
j
)
]
m
×
m
性质
正定性：
如果对于所有的
x i ∈ X, i = 1, 2,..., m x_i\in\mathcal{X}, i=1,2,...,m
x
i
∈
X
,
i
1
,
2
,
.
.
.
,
m
，矩阵
K = [ K ( x i, x j ) ] m × m K=[K(x_i,x_j)]_{m\times m}
K
[
K
(
x
i
,
x
j
)
]
m
×
m
K ( x, y ) K(x,y)
K
(
x
,
y
)
是半正定的，那么
K ( x, y ) K(x,y)
K
(
x
,
y
)
就是一个核函数。
再生性：
对于所有的
x ∈ X x\in\mathcal{X}
x
∈
X
，存在
f ( x ) = < ϕ ( x ), w > f(x)=<\phi(x),w>
f
(
x
)
<
ϕ
(
x
)
,
w
，使得
f ( x ) = K ( x, x i ) α i f(x)=K(x,x_i)\alpha_i
f
(
x
)
K
(
x
,
x
i
)
α
i
，其中
w ∈ H w\in\mathcal{H}
w
∈
H
，
α i ∈ R, i = 1, 2,..., m \alpha_i\in\mathbb{R}, i=1,2,...,m
α
i
∈
R
,
i
1
,
2
,
.
.
.
,
m
。
常用核函数
多项式核函数：
K ( x, y ) = ( x y + 1 ) p K(x,y)=(xy+1)^p
K
(
x
,
y
)
(
x
y
+
1
)
p
高斯核函数（径向基函数）：
K ( x, y ) = e x p ( − ∣ ∣ x − y ∣ ∣ 2 2 σ 2 ) K(x,y)=exp(-\frac{\forall x_i\in\mathcal{X},\alpha_i\in\mathbb{R},i=1,2,...,m}
S
{
f
(
⋅
)
i
1
