Reproducing Kernel Hilbert Space

Você está aqui

Neste módulo, vamos definir de forma geral o termo "Reproducing Kernel Hilbert Space" (RKHS) e núcleo (Kernel) relacionado. Seja $D$ um espaço de Hilbert de funções $h: \chi \rightarrow \mathbb{R}$. Um das mais importantes propriedades de um RKHS é que duas funções $h$ e $g$ estão próximas na norma de $D$, então $f(x)$ e $g(x)$ também estão próximos para todo $x \in \chi$. Escrevemos o produto interno em $D$ na forma $\langle f , g \rangle_D$ e a norma é dada por $ \parallel f \parallel_D = \sqrt{\langle f , f \rangle_D}$. Desde que $D$ é um espaço de funções, temos um funcional que relaciona cada função $f \in D$ com seu valor em $x \in \chi$. Para cada $x \in \chi$, a função $\delta_x : D \rightarrow \mathbb{R}$ definida por $\delta_x (f) = f(x)$ é denominada funcional de Dirac. 

O Funcional de Dirac é linear. Na realidade, se tomarmos $f,g \in D$ e $c_1 ,c_2 \in \mathbb{R}$, temos que $\delta_x (c_1 f + c_2 g)= (c_1 f + c_2 g)(x) = c_1 f (x) + c_2 g(x) = c_1 \delta_x (f) + c_2 \delta_x (g) $. Naturalmente, a questão é se o funcional de Dirac é contínuo. Esta questão nos leva a definição do RKHS. 

Definição 1: Reproducing Kernel Hilbert Space.

Um espaço de Hilbert composto por funções $f: \chi \rightarrow \mathbb{R}$ é um RKHS se o funcional de Dirac $\delta_x$ é contínuo para todo $x \in \chi$. 

A seguir, apresentamos um resultado relacionado com o comportamento de um RKHS em relação a estrutura de convergência.

Lema 1: Convergência em norma implica em convergência pontual. 

Seja $D$ um RKHS. Suponha que a sequência $\{f_n\}$ converge em $D$ para $f$ $(\parallel f_n - f \parallel_D \rightarrow 0)$, então obtemos que $f_n(x) \rightarrow f(x)$ para todo $x \in \chi$. 

Prova: Para todo $x \in \chi$, temos que $$ \mid f_n (x) - f(x) \mid = \mid \delta_x (f_n) - \delta_x (f) \mid \leq \parallel \delta_x \parallel_{D^\star} ~ \parallel f_n - f \parallel_D  \rightarrow 0 ,$$ no qual $\parallel \delta_x \parallel_{D^\star} $ é a norma dual do funcional linear de Dirac, que é limitada pelo fato de que $D$ é um RKHS. Segue o lema.

De forma geral, a noção de núcleo não aparece diretamente na deinição do RKHS. Na sequência, vamos definir núclo e estabelecr sua relação RKHS. 

Definição 2: Núcleo Reprodutivo

Seja $D$ um espaço de Hilbert composto por funções $f: \chi \rightarrow \mathbb{R}$. Uma função $\mathcal{K}: \chi \times \chi \rightarrow \mathbb{R}$ é denominada núcleo reprodutivo se:

1) Para todo $x \in D$, temos que $\mathcal{K}( \cdot , x) \in  D$;

2)  Para todo $x \in \chi$ e $f \in D$, temos que $$\langle f , \mathcal{K}(\cdot , x) \rangle_D = f(x) ~~(\text{propriedade reprodutiva}). $$ Em particular, para todo $x , x^\prime \in \chi$, temos que $$ \mathcal{K}( x , x^\prime) = \langle \mathcal{K}(\cdot , x^\prime) . \mathcal{K}(x , \cdot )  \rangle_D.$$ A partir desta definição, formulamos diversas questões. Qual a relação entre o núcleo reprodutivo e o RKHS? Tal tipo de núcleo realmente existe? Se existe, é único? Na sequência, vamos avaliar a unicidade do núcleo reprodutivo. 

Lema 2: Unicidade do Núcleo reprodutivo

Suponha que existe um núcleo reprodutivo $\mathcal{K}$  no espaço de Hilbert $D$. Então, este núcleo reprodutivo é único.

Prova: 

Assumimos que $D$ admite dois núcleos reprodutíveis $\mathcal{K}_1$ e $\mathcal{K}_2$. Então, para todo$x \in \chi$ e $f \in D$, temos que $$ \langle f , \mathcal{K}_1 (\cdot , x) - \mathcal{K}_2 (\cdot , x) \rangle_D = f(x) - f(x) =0.$$ Em particular, se tomarmos $f = \mathcal{K}_1 (\cdot , x) - \mathcal{K}_2 (\cdot , x)$, obtemos que $\parallel \mathcal{K}_1 (\cdot , x) - \mathcal{K}_2 (\cdot , x) \parallel_D = 0$ para todo $x \in \chi$. Desta forma, concluímos que $\mathcal{K}_1 = \mathcal{K}_2 $.

Para mostrarmos a existência do núcleo reprodutivo em um RKHS vamos utilizar o Teorema da representação de Riesz, que nos diz todo funcional linear pode ser representado através do produto interno. 

Teorema 1: Existência do Núcleo Repredutivo

Um espaço de Hilbert $D$ é um RKHS se, e só se, $D$ admite um núcleo reprodutivo. 

Prova:

Considere $D$ um espaço de Hilbert com com úcleo reprodutivo $\mathcal{K}$ . Como consequência da desigualdade de Cauchy-Schwarz, obtemos que  $$\mid \delta_x (f) \mid = \mid f(x) \mid = \mid \langle f , \mathcal{K}(\cdot , x) \rangle_D \mid \leq  \parallel \mathcal{K} (\cdot , x) \parallel_D \parallel f \parallel_D = \langle \mathcal{K} (\cdot , x) , \mathcal{K} (\cdot , x) \rangle_{D}^{1/2}  \parallel f \parallel_D = \mathcal{K} (x , x)^{1/2} \parallel f \parallel_D.$$ Assim, concluímos que o funcional linear de Dirac é limitado e consequentemente, $\delta_x$ é contínuo. Portanto, temos que $D$ é um RKHS.

Por outro lado, tomamos $D$ um RKHS, no qual o funcional linear de Dirac $\delta_x$ é contínuo. Pelo teorema da representação de Riesz existe um elemento $f_{\delta_x} \in D$ tal que $$\delta_x (f) = \langle f , f_{\delta_x} \rangle_D, \quad f \in D.$$ Com isso, definimos $\mathcal{K} (x^\prime , x) = f_{\delta_x} (x^\prime)$ para todo $x , x^\prime \in \chi$.  Então, obtemos que $\mathcal{K} (\cdot , x) = f_{\delta_x}$ e $\langle f , \mathcal{K} (\cdot , x) = f_{\delta_x} = f(x)$. Portanto $\mathcal{K}$ é um núcleo reprodutivo.

Na sequência, vamos estudar algumas propriedades relacionadas com o núcleo reprodutivo. 

Definição 3: Função Positiva Definida

Uma função simétrica $g: \chi \times \chi \rightarrow \mathbb{R}$ é positiva definida s para todo $n \geq 1$, $(a_1 , \cdots , a_n) \in \mathbb{R}^n$, $(x_1, x_2 , \cdots , x_n) \in \chi^n$, temos que $$\sum_{i=1}^n \sum_{j=1}^n a_i a_j g(x_i , x_j) \geq 0. $$ A função $g$ é estritamente positiva definida se para $x_i$ distintos, a igualdade é válida somente quando os valores $a_i$ forem nulos.

Todos produto interno é um função positiva definida. De forma geral, temos o sguinte lema. 

Lema 2: 

Seja $F$ um espaço de Hilbert (não necessariamente um RKHS) com produto interno $\langle \cdot , \cdot \rangle_F$. Seja $\chi$ um espaço de Borel e $\phi: \chi \rightarrow F$ uma função Borel mensurável. Então, temos que a função $h(x^\prime , x) := \langle \phi(x^\prime , \phi(x) \rangle_F$ é uma função positiva definida 

Prova:

Temos que $$\sum_{i=1}^n \sum_{j=1}^n a_i a_j g(x_i , x_j) =  \sum_{i=1}^n \sum_{j=1}^n \langle a_i \phi(x_i , a_j \phi(x_j) \rangle_F =   \langle \sum_{i=1}^n a_i \phi(x_i ), \sum_{j=1}^n a_j \phi(x_j) \rangle_F = \parallel  \sum_{i=1}^n a_i \phi(x_i) \parallel_F^2  \geq 0 .$$

Com isso, temos os elementos para demonstrar o próximo lema.

Lema 3: 

Todo núcleo reprodutivo é positivo definido.

Prova:

Para todo núcleo reprodutivo $\mathcal{K}$ é um RKHS $D$ satisfaz $\mathcal{K}(x^\prime , x) = \langle \mathcal{K}(\cdot , x^\prime) , \mathcal{K}(\cdot , x) \rangle_D$. Desta forma, é suficiente tomarmos $\phi : \chi \rightarrow D$ na forma $\phi(x) = \mathcal{K}(\cdot , x)$ para todo $x \in \chi$.

O Próximo lema vai na direção contrária do lema 3. Como consequência da desigualdade de Cauchy-Schwarz, mostraremos que todoa função está relacionada com o produto interno no " feature space" . 

Lema 4

Se $g$ é uma função positiva definida, então $\mid h(x , x^\prime) \mid ^2 \leq \mid h(x , x) \mid ~ \mid h(x^\prime , x^\prime) \mid$.

Prova:

Se $g(x , x^\prime)=0$, a desigualdade é óbvia. Por outro lado, tomamos $a_1 = a$ e $a_2 = g(x , x^\prime)$. Temos que $q(a) = a^2 g(x , x) + 2a \mid g(x , x^\prime) \mid^2 + \mid  g(x , x^\prime) \mid^2 g(x^\prime , x^\prime) \geq 0$. Desde que $q$ é uma função quadrática de $a$ a desigualdade é válida para todo $a$, concluímos que $$ \mid h(x , x^\prime) \mid ^4  \leq \mid h(x , x^\prime) \mid ^2  h(x , x)  h(x^\prime , x^\prime),$$ o que prova o lema. 

Assim, chegamos a seguinte definição de núcleo.

Definição 4: Núcleo

Seja $\chi$ um espaço de Borel. A função $\mathcal{K} : \chi \times \chi \rightarrow \mathbb{R}$ é denominada núcleo se existe um espaço de Hilbert $F$ e um função $\phi: \chi \rightarrow F$ Borel mensurável tal que $$\mathcal{K} (x, x^\prime) = \langle \phi(x) , \phi(x^\prime) \rangle_F, \quad x , x^\prime \in \chi .$$ A função $\phi: \chi \rightarrow F$ é denominada "feature function" e $F$ é denominado "feature space" . 

Para um mesmo núcleo, pode existir mais de uma " feature function" como apresentado no exemplo a seguir.

Exemplo 1:

Considere $\chi = \mathbb{R}$ e $$ \mathcal{K} (x , x^\prime) = x x^\prime = \left(\frac{x}{\sqrt{2}} , \frac{x}{\sqrt{2}}  \right) \left(\frac{x^\prime}{\sqrt{2}} , \frac{x^\prime}{\sqrt{2}}  \right)^T,$$ no qual definimos as seguinte "feature functions" $\phi(x) = x$ e $\bar{\phi}(x) = \left(\frac{x}{\sqrt{2}} , \frac{x}{\sqrt{2}}  \right)$ com $D = \mathbb{R}$ e $\bar{D} = \mathbb{R}^2$. 

Denotamos por $\ell^2$ o espaço de todos as sequência em $\mathbb{R}$ que são quadrado somáveis, isto é, o espaço das sequências $\{a_n : n \geq 1\}$ tal que $$\sum_{i=1}^\infty a_i^2 < \infty. $$ Sabemos que $\ell^2$ é um espaço de Hilbert com o produto interno $$\langle \bar{a} , \bar{b} \rangle = \sum_{i=1}^\infty a_i b_i , \quad \bar{a} = \{a_i : i \geq 1\} \in \ell^2 ~ ~ \text{e} ~ ~  \bar{b} = \{b_i : i \geq 1 \} \in \ell^2.$$

Lema 5:

Para todo $x \in \chi$, assumimos que a sequência $\{f_n(x) : n \geq 1\}  \in \ell^2$, no qual $f_n : \chi \rightarrow \mathbb{R}$ é uma função Borel mensurável para todo $n \geq 1$. Então, temos $$\mathcal{K} (x , x^\prime) := \sum_{i=1}^\infty f_n(x) f_n (x^\prime) $$ é um núcleo.

Prova:

 A partir da desigualdade de Holder, temos que $$ \sum_{i=1} \mid f_n(x)  f_n (x^\prime) \mid \leq \parallel f_n(x) \parallel_{\ell^2} \parallel f_n(x^\prime) \parallel_{\ell^2}.$$ Assim, a série que define $\mathcal{K}$ é absolutamente convergente. Ao definirmos $D:=\ell^2$ e $\phi (x):= \{f_n(x) : n \geq 1\}$, segue o lema.

Sobre o Portal Action

O Portal Action é mantido pela Estatcamp - Consultoria Estatística e Qualidade, com o objetivo de disponibilizar uma ferramenta estatística em conjunto com uma fonte de informação útil aos profissionais interessados.

Facebook

CONTATO

  •  Maestro Joao Seppe, 900, São Carlos - SP | CEP 13561-180
  • Telefone: (16) 3376-2047
  • E-Mail: [email protected]