Minimização do Risco Empírico

Você está aqui

O algoritmo de aprendizado de máquina $A: \mathbb{O}^n \rightarrow \mathcal{H}$ tem como entrada (domínio) um conjunto de dados rotulados ${\bf o}_n$ amostrado de uma distribuição de probabilidade desconhecida $\mathbb{P}$ definida sobre $(\mathbb{O} , \beta(\mathbb{O}))$. A partir dos dados de treinamento ${\bf o}_n \in \mathbb{O}^n$, o algoritmo de aprendizado nos fornece como saída um preditor $h({\bf o}_n , \cdot) \in \mathcal{H}$. O objetivo do algoritmo é fornecer um preditor que minimiza a função risco com respeito a probabilidade $\mathbb{P}$ desconhecida.

Desde que não conhecemos a probabilidade $\mathbb{P}$, a função risco não pode ser diretamente acessada. Uma forma de contornar este problema consiste em utilizar a função de risco empírica. Para toda amostra de dados ${\bf o}_n = \{(x_1,y_1) , \ldots ,  (x_n , y_n)\} \in \mathbb{O}^n$ e $h \in \mathcal{H}$, a função de risco empírica é definida por:

\[
L_E({\bf o}_n , h) := \frac{1}{n} \sum_{i=1}^n \ell \left( (x_i , y_i) , h   \right), \quad n \geq 1.
\]

Como a amostra rotulada ${\bf o}_n$ está disponível e representa o processo em estudo, faz sentido buscarmos uma solução que se ajuste bem aos dados de treinamento. Assim, introduzimos o seguinte princípio de aprendizado de máquina "Minimização do Risco Empírico'' (MRE). O algoritmo de aprendizado dado pelo princípio da MRE nos fornece um preditor $h_E({\bf o}_n , \cdot)$ que minimiza a função de risco empírica, isto é,

\[
L_E({\bf o}_n , h_E({\bf o}_n)) = \inf_{h \in \mathcal{H}} L_E({\bf o}_n , h), \quad {\bf o}_n \in \mathbb{O}^n.
\]

Para o problema de classificação binária, a função de risco empírica corresponde ao erro de classificação do preditor. Neste caso, dado uma amostra de treinamento ${\bf o}_n = \{(x_i , y_i): i=1, \ldots , n\}$ e um preditor $h \in \mathcal{H}$, temos que

\[
L_E({\bf o}_n , h) := \frac{1}{n} \sum_{i=1}^n 1\!\!1_{ \{yi \neq h(x_i)  \}}, \quad n \geq 1.
\] Um ponto importante relacionado com a função de risco empírica é que ela depende apenas dos dados ${\bf o}_n$ e do preditor admissível $h$.

 

Sobre o Portal Action

O Portal Action é mantido pela Estatcamp - Consultoria Estatística e Qualidade, com o objetivo de disponibilizar uma ferramenta estatística em conjunto com uma fonte de informação útil aos profissionais interessados.

Facebook

CONTATO

  •  Maestro Joao Seppe, 900, São Carlos - SP | CEP 13561-180
  • Telefone: (16) 3376-2047
  • E-Mail: [email protected]