Tarea 2

1) Teoría de Álgebra y Optimización

¿Por qué una matriz equivale a una transformación lineal entre espacios vectoriales?

Una transformación linea es una regla de correspondencia $\mathbf T : \mathbb{R}^m \rightarrow \mathbb{R}^n $ que cumple:

1) $\mathbf T(\overrightarrow{x}+\overrightarrow{y}) = T(\overrightarrow{x}) + T(\overrightarrow{y});$ $ \forall \overrightarrow{x},\overrightarrow{y} \in \mathbb{R}^m $
2) $T(\alpha \overrightarrow{x})=\alpha T( \overrightarrow{x})$ 
Por lo que si $\mathbf A$ es una matriz de dimensiones $\mathbf m\times n$ y $\overrightarrow{x}$ es un vector de de dimensiones $\mathbf n\times1$, entonces el vector definido por la transformacion $\mathbf A\overrightarrow{x}=\overrightarrow{y}$ será de dimensiones $\mathbf m\times1$ y cumplira con 1) y 2)

¿Cúal es el efecto de transformacion lineal de una matriz diagonal?;¿El de una ortogonal?

1) Las matrices diagonales redimensionan el "volumen" del espacio vectoriañ definido por el $\mathbf span(\overrightarrow{x})$
2) Las matrices ortogonales son matrices de rotación (cuando su determinante es igual 1) o son matrices de reflexión (cuando su determinante es igal a -1). Estas cumplen con $\mathbf A A^{T}=I \Rightarrow A^{T}= A^{-1} $

¿Qué es la descomposición en valores singulares de una matriz?

Es un resultado del álgebra que dice que para cualquier matriz $\mathbf A \in \mathbb{R}_{m \times n}$ existe una representacion de la misma como el producto de tres matrices:

$\mathbf A = U\Sigma V^{T}$

Donde $\mathbf U,V^{T}$ son matrices ortogonales (o de rotación/reflexión) y $\Sigma$ es una "Semi"-matriz diagonal (o de reescalamiento), por ejemplo
si $\mathbf m = 3$ n $ $ y$ $ n = 6$: $\begin{bmatrix} 1, 0, 0, 0, 0, 0 \\ 0, 1, 0, 0, 0, 0 \\ 0, 0, 1, 0, 0, 0 \end{bmatrix}
o
si $\mathbf m = 6$ n $ $ y$ $ n = 3$: $\begin{bmatrix} 1, 0, 0\\ 0, 1, 0\\ 0, 0, 1\\ 0, 0, 0\\ 0, 0, 0\\ 0, 0, 0 \end{bmatrix}

¿Qué es diagonalizar una matriz?,¿Qué representan sus eigenvectores?

1) Es el caso simetrico de la descomposición en valores singulares (SVD). Y, dice que para cualquier matriz simetrica $\mathbf A \in \mathbb{R}_{n \times n}$ existe una representacion de la misma como el producto de tres matrices:
$\mathbf A = W D W^{T}$

Donde $\mathbf W$ es una matriz ortogonal (o de rotación/reflexión) y $D$ es una matriz diagonal (o de reescalamiento)
2) $\lambda$ es un eigenvalor de $\mathbf A$ y es el escalar asociado a la raís caracteristica del eigenvector $\mathbf V$. Por lo que dado que $\mathbf V$ es tal que: $\mathbf AV =\lambda V $ y $\mathbf AW =DW $ (por la representación diagonal). Entonces diagonalizar implica encontrar los eigenvectores y eigenvalores de $\mathbf A$

¿Cómo se interpreta la SVD como una composición de tres tipos de transformaciones lineales simples?

La SVD dice que: $ \forall \mathbf A \in \mathbb{R}_{m \times n} \exists \mathbf A = U\Sigma V^{T}$

Donde $\mathbf U,V^{T}$ son matrices ortogonales (o de rotación/reflexión) y $\Sigma$ es una "Semi"-matriz diagonal (o de reescalamiento)

¿Qué relacion hay entre la descomposición en valores singulares y la diagonalización?

La diagonalización es el caso, cuando $\mathbf A$ es simétrica, de la SVD

Describe el método de minimización por descenso gradiente

Es un método de aproximación numérico que se usa para encontrar los valores extremo de una función. El problema consiste en encontrar $\overrightarrow{x}_{0}$ que minimizan/maximizan la función $F(\overrightarrow{x})$. El algoritmo es el siguiente:

1) Lanza una hipótesis razonable (que sea lo suficientemente cerca de un punto crítico) $\overrightarrow{x}_{0}$
2) Encuenta $\overrightarrow{x}_{0}$ deacuerdo a la siguiente ecuacion diferencial $\overrightarrow{x}_{0} = \overrightarrow{x}_{0} - \alpha \frac{\partial \mathbf F}{\partial x}|_{\overrightarrow{x}=\overrightarrow{x}_{0}}$

Menciona 4 ejemplos de problemas de optimizacion (dos con restricciones y dos sin restricciones) que te parescan interesantes como Científico de Datos

Es más facil pensar en problemas con restricciones.

Por lo que los primeros serán aquellos que ví varias veces durante la licenciatura: 1) Problema de Maximización de las ganacias 2) Problema de Maximización de la utilidad

1) $\mathbf max_{Q \in \mathbb{R}^+ }\left \{ P(Q)\times Q \right \} $ $\mathbf t.q $ $ C(Q) \leq K$
2) $\mathbf max_{\overrightarrow{x} \in \mathbb{R}^n,\overrightarrow{p} \in \mathbb{R}^n }\left \{ U(\overrightarrow{x};\overrightarrow{p}) \right \} $ $\mathbf t.q $ $ I(\overrightarrow{x};\overrightarrow{p}) \leq M$

Y sus correspondientes problemas sin restricción serán las funciones lagrangianas que resultan (del teorema de la envolvente) al combinar la función objetivo con la condición correspondiente, así:

1) $\mathbf max_{Q \in \mathbb{R}^+,\lambda \in \mathbb{R}}\left \{ \mathscr{L}(Q,\lambda) = P(Q)\times Q - \lambda(K - C(Q)) \right \} $
2) $\mathbf max_{\overrightarrow{x} \in \mathbb{R}^n,\overrightarrow{p} \in \mathbb{R}^n}\left \{ \mathscr{L}(\overrightarrow{x}(\overrightarrow{p}),\lambda) = U(\overrightarrow{x})- \lambda(M - I(\overrightarrow{x})) \right \} $