Pregunta:
A menudo veo multiplicaciones con matrices de covarianza en la literatura. Sin embargo, nunca entendí realmente lo que se logra mediante la multiplicación con la matriz de covarianza. Dado $ \ Sigma * r = s $ con $ \ Sigma $ como la matriz de covarianza de $ n $ variables aleatorias $ X_i $, ¿alguien puede darme una explicación intuitiva de lo que $ s $ me da?
Lo que ya (al menos creo) entender es el principio de covarianza en general y un significado de la matriz de covarianza en términos de una base lineal, siendo los vectores de base $ i $ ésima la covarianza entre la variable aleatoria $ X_i $ y $ X_j $ por $ 1 \ leq j \ leq n $.
Alguna intuición que ya reuní es la siguiente: al multiplicar $ \ Sigma * r $ ponderamos las muestras $ X_i $ de acuerdo con $ r $. Con $ i $ fijo, $ y_i $ nos da la suma de las covarianzas ponderadas con $ X_i $ y $ X_j $ para $ 1 \ leq j \ leq n $, lo que significa un valor de qué tan bien $ X_i $ "covarían" en la dirección de $ r $.
Pero, ¿qué significaría "en la dirección de $ r $" y para qué es realmente útil este resultado? A menudo veo un valor como este: $ r ^ T * \ Sigma ^ {- 1} * r $
¿Para qué sería útil este valor?
(Y conozco las bonitas propiedades de los autovalores y autovectores para $ \ Sigma $)
Respuesta:
Tu respuesta es buena. Tenga en cuenta que, dado que $ \ Sigma $ es simétrico y cuadrado, $ \ Sigma ^ {- 1} $ también lo es. La matriz, su transposición o inversa proyectan su vector $ \ Sigma r $ en el mismo espacio.
Dado que $ \ Sigma $ y $ \ Sigma ^ {- 1} $ son definidos positivos, todos los valores propios son positivos. Así, una multiplicación con un vector siempre termina en el mismo semiplano del espacio.
Ahora, si $ \ Sigma $ o $ \ Sigma ^ {- 1} $ fuera una matriz diagonal, entonces la multiplicación volvería a pesar (o desharía el nuevo peso) de solo las longitudes del vector objetivo en cada dimensión (como notó). Si son matrices completas, entonces de hecho la matriz tiene rango completo ya que es PSD, la descomposición propia existe y $ \ Sigma = V \ Lambda V ^ {- 1} $, aquí $ V $ es una matriz de vectores propios ortonormal en virtud de $ \ Sigma $ siendo PSD y $ \ Lambda $ la diagonal con valores propios. Por lo tanto, $ r $ primero se rota por $ V ^ {- 1} $, y luego se vuelve a pesar por $ \ Lambda $, luego se rota hacia atrás en $ V $. Lo mismo ocurre con $ \ Sigma ^ {- 1} $, pero luego $ r $ se gira al revés y se escala por la diagonal de recíprocos $ \ Lambda ^ {- 1} $ y se gira hacia atrás con $ V ^ {-1} $. Es fácil ver que son procesos opuestos.
Además, puede pensar en $$ r ^ T \ Sigma ^ {- 1} r = (\ Lambda ^ {- 1/2} V ^ T r) ^ T (\ Lambda ^ {- 1/2} V ^ T r) = \ big \ | \ Lambda ^ {- 1/2} V ^ T r \ big \ | ^ 2 $$ como la longitud de su vector $ r $ vuelto a pesar por las "desviaciones estándar" después de la corrección de correlaciones cruzadas .
Espero que ayude.