Análisis de Componentes Principales (ACP) 102

• Esta tabla es básicamente la tabla transpuesta (fila convertida en columnas) que vimos en las cargas de las variables para componentes principales.
• La suma de los cuadrados de cada fila debe ser 1.
• $PC_1,PC_2,\cdots, PC_m$ No están correlacionados, por lo que para calcular la varianza de$X_1$(Standarized),utilizando los primeros componentes k:
  $$Var(\hat X_i)=\gamma_1^2\sigma_1^2+\gamma_2^2\sigma_2^2+\cdots+\gamma_k^2\sigma_k^2 \leq 1$$ $$X_i=\frac{x_i-\bar x_i}{\sigma_{x_i}}$$ $$\gamma_1^2\sigma_1^2+\gamma_2^2\sigma_2^2+\cdots+\gamma_m^2\sigma_m^2=1$$ Donde:
  • $\gamma_k$ es la carga del k-ésimo componente principal para la $X_i$ variable de entrada.
  • $\sigma_k^2$ es la varianza del k-ésimo componente principal.
  • $X_i$ es el estimado para la variable de entrada estandarizada utilizando los primeros componentes k.
• Por definición la $Var[\hat X_i]$ es la comunalidad final.
• La varianza de la variable de entrada ajustada en la escala original (no estandarizada) se expresa de la siguiente manera:
  $$Var[ \hat{x_i} ]=(\gamma_1^2\sigma_1^2+\gamma_2^2\sigma_2^2+\cdots+\gamma_k^2\sigma_k^2)\times \sigma_{x_i}^2$$
• Reducir la dimensión, en esencia, reduce la varianza de las variables de entrada (filtro de paso bajo).
• ¿Qué pasa con la correlación entre las variables originales? ¿Cómo se ven afectadas por la reducción de las dimensiones?
  $$\hat X_i=\gamma_1PC_1+\gamma_2PC_2+\cdots+\gamma_kPC_k$$ $$\hat X_j=\omega_iPC_1+\omega_2PC_2+\cdots+\omega_kPC_k$$ $$Cov[\hat X_i, \hat X_j]=\sigma_{\hat X_i,\hat X_j}=E[\hat X_i \times \hat X_j]=E[\gamma_1\omega_1PC_1^2+\gamma_2\omega_2PC_2^2+\cdots+\gamma_k\omega_kPC_k^2 ]$$ $$Cov[\hat X_i, \hat X_j]=\rho_{\hat x_i,\hat x_j}= \sum_{i=1}^k \gamma_i\omega_i\sigma_i^2$$ $$Cov[X_i, X_j]=\rho_{x_i,x_j}= \sum_{i=1}^m \gamma_i\omega_i\sigma_i^2=\sigma_{\hat X_i,\hat X_j}+\sum_{i=k+1}^m \gamma_i\omega_i\sigma_i^2$$ $$Cov[\hat X_i, \hat X_j] = Cov[X_i, X_j] - \sum_{i=k+1}^m \gamma_i\omega_i\sigma_i^2$$ Donde:
  • $\hat X_i$ Es la i-ésima variable ajustada estandarizada utilizando los primeros k componentes principales k.
  • $X_i$es la variable de entrada i-ésima estandarizada original.
  • $x_i$es la variable de entrada i-ésima original.
  • $\hat x_i$es la variable de entrada i-ésima ajustada no estandarizada usando el primer componente k-principal.
  La correlación entre las variables ajustadas (es decir, dimensiones reducidas) puede ser ligeramente diferente dependiendo de la varianza de los factores eliminados y de la carga de esos factores en cada variable.
• ¿Qué hay de la covarianza entre las variables (no estandarizadas)? $$\hat X_i = \frac{\hat x_i-\bar x_i}{\sigma_{x_i}}\Rightarrow \hat x_i-\bar x_i=\hat X_i \times \sigma_{x_i}$$ $$Cov[\hat x_i,\hat x_j]=E[(\hat x_i-\bar x_i)(\hat x_j-\bar x_j)]=\sigma_{x_i}\sigma_{x_j}E[\hat X_i\hat X_j]$$ $$Cov[\hat x_i,\hat x_j]=\sigma_{x_i}\sigma_{x_j}\times (\sigma_{X_i,X_j}-\sum_{i=k+1}^m \gamma_i\omega_i\sigma_i^2)$$ $$Cov[\hat x_i,\hat x_j]=Cov[x_i,x_j]-\sigma_{x_i}\sigma_{x_j}\sum_{i=k+1}^m \gamma_i\omega_i\sigma_i^2$$

En suma, el cambio relativo en la covarianza es igual al cambio en la correlación entre las dos variables.

Nota: La reducción del número de factores altera las características estadísticas del conjunto de datos subyacentes, por lo que se debe tener mucho cuidado.