Parte 1: Teoría de Algebra Lineal y Optimización

1. ¿Por qué una matriz equivale a una transformación lineal entre espacios vectoriales?

R: Porque al llevar a cabo la multiplicación de un vector con esta matriz, al vector original se le aplican escalamientos, reducciones, rotaciones y anulamientos en sus componentes transformándolo en otro vector de distintas proporciones y dimensiones, es decir lleva a cabo un mapeo del vector original en su espacio vectorial original hacia otro vector en otro espacio vectorial.

2. ¿Cuál es el efecto de transformación lineal de una matriz diagonal y el de una matriz ortogonal?

R: La transformación lineal que aplica una matriz diagonal hacia un vector columna o una matriz es el escalamiento de cada uno de los vectores columna y se va a dar de acuerdo a la posición de los elementos de la diagonal. La transformación lineal que aplica una matriz ortogonal hacia un vector columna o una matriz, es una transformación isométrica que puede ser cualquiera de tres tipos: traslación, espejeo y rotación. Tienen determinante +-1

3. ¿Qué es la descomposición en valores singulares de una matriz?

R: Es la factorización de una matriz en la multiplicación de tres matrices fundamentales que son la matriz de eigenvectores, la matriz de componentes singulares y la matriz transpuesta de eigenvectores. La descomposicion se lleva a cabo de la siguiente manera: $$ A = U \Sigma V^{T} $$ En donde U = matriz de eigenvectores, $\Sigma$ = matriz de valores singulares o raices cuadradas de eigenvalores de $A^{T}A$ y $V^{T}$ = matriz transpuesta de eigenvectores por derecha. La descomposición svd tiene muchas aplicaciones en las áreas de reducción de dimensiones, análisis de componentes principales (PCA), compresión de imágenes, aproximacion a solucion de sistemas de ecuaciones sin soluciones unicas mediante minimos cuadrados.

4. ¿Qué es diagonalizar una matriz y que representan los eigenvectores?

R: La diagonalización de una matriz es la factorización de la misma en la multiplicación de tres matrices básicas que son la matriz de eigenvectores, la matriz de eigenvalores y la matriz inversa de los eigenvectores de la misma. De la siguiente manera: $$A = PDP^{-1}$$En donde P = matriz de eigenvectores, D = Matriz diagonal de eigenvalores y $P^{-1}$ = matriz inversa de eigenvectores. Los eigenvectores de una transformación lineal son vectores que cumplen con la condición de que el resultado de multiplicarlos por la matriz de transformación equivale a multiplicarlos por un escalar llamado eigenvalor. De la siguiente manera: $$ Ax = \lambda x $$ Esto quiere decir que a estos vectores al aplicarles la transformación lineal (multiplicarlos por la matriz de transformación) no cambian su dirección solamente cambian su longitud o su sentido, en caso de que haya eigenvalor con signo negativo.

5. ¿Intuitivamente que son los eigenvectores?

R: Se pueden interpretar como ejes cartesianos de la transformación lineal, cumpliendo el teorema espectral que afirma: $$ \tau \vec (v) = \lambda_{1}(\vec v_{1} \bullet v)v_{1} + \lambda_{2}(\vec v_{2} \bullet v)v_{2} + .... + \lambda_{n}(\vec v_{n} \bullet v)v_{n} $$

6. ¿Cómo interpretas la descomposición en valores singulares como una composición de tres tipos de transformaciones lineales simples?

R: Las tres matrices que conforman la SVD se pueden ver como transformaciones simples que son una rotación inicial, un escalamiento a lo largo de los ejes principales (valores singulares) y una rotación final.

7. ¿Qué relación hay entre la descomposición en valores singulares y la diagonalización?

R: La descomposición svd es una generalización de la diagonalización de una matriz. Cuando una matriz no es cuadrada, no es diagonalizable, sin embargo si se puede descomponer mediante svd. Así mismo si se utiliza la descomposición svd de una matriz, es posible resolver sistemas de ecuaciones lineales que no tengan una única solución sino que la solución devuelta es el ajuste a mínimos cuadrados, (obviamente si tienen solución, regresa la solución al sistema).

8. ¿Cómo se usa la descomposición en valores singulares para dar una aproximación de rango menor a una matriz?

R: En la descomposición svd de una matriz mxn, se obtiene una descomposición de tres matrices cuya multiplicación resulta en la matriz original completa, sin embargo dadas las propiedades de la descomposición, se pueden utilizar solamente las componentes principales de mayor relevancia desechando columnas de la matriz $U_{mxr}$, filas o columnas de la matriz de componentes principales $\Sigma _{rxr} $ y filas de la matriz $V_{rxn}^{T}$ La multiplicación de estas resulta en el tamaño mxn de la matriz original pero con un determinado error y a medida que se consideran más componentes principales, columnas y vectores de las matrices U,S,VT , mejor será la reconstrucción de la matriz original. Esta descomposición es muy útil para comprimir información y análisis de componentes principales (PCA).

9. Describe el método de minimización por descenso gradiente

R: Es un método iterativo de primer orden de minimización de una función dado su gradiente. Conociendo la función a optimizar, se calcula el gradiente (vector de derivadas parciales), posteriormente se considera un punto aleatorio de inicio, se substituye la coordenada en el vector gradiente, se analiza en cuál de las componentes del vector gradiente (x, y, o z) es el valor más negativo y se da un pequeño incremento en esa dirección de manera que se acerca al mínimo local, y así sucesivamente hasta llegar a un punto de convergencia (mínimo local). Entre sus aplicaciones están: Encontrar mínimos locales de funciones, Solución de sistemas de ecuaciones lineales y solución de sistemas de ecuaciones no lineales.

10. Menciona 4 ejemplos de problemas de optimización(dos con restricciones y dos sin restricciones) que te parezcan interesantes como científico de datos

R: Con restricciones: Optimización de la eficiencia energética en el diseño de un motor eléctrico dadas restricciones geométricas, termodinámicas, electromagnéticas, etc. Algunas de las variables a considerar en el diseño de un motor eléctrico son: número de pares de polos, proporción del diámetro interno del estator contra el diámetro externo, porcentaje de la profundidad total del rotor para la sección principal céntrica del rotor, entre otras, todas estas variables forman un vector, este vector es la entrada a un conjunto de ecuaciones objetivo y las restricciones también se modelan como ecuaciones.
Este tipo de optimización es del tipo multi-objetivo y el tipo de métodos más adecuados para implementar son la optimización de Pareto.

Vector con variables optimas: $ \vec x = [x_{1},x_{2},x_{1},....,x_{D} ] \vec x \in R^{D}$

Restricciones de frontera $x_{i}^{L} \leq x_{i} \leq x_{i}^{U}, i=1, ...., D$

Restricciones de ecuaciones $g_{j}(\vec x ) \leq 0, j=1,....,m$

Función objetivo $ f( \vec x ) = [f_{1}( \vec x), f_{2}( \vec x), .... f_{k}( \vec x)]$

Referencia: http://www.adept-itn.eu/images/Publications/Optimization_in_Design_of_Electric_Machines_Methodology_and_Workflow.pdf

B. Optimización de la red eléctrica inteligente (Smart Grid): La red eléctrica inteligente es la evolución de la red eléctrica actual, en donde se integran nuevas fuentes de generación eléctrica (energías renovables), productores caseros, nuevos equipos de transmisión y almacenamiento, medidores, sensores, infraestructura de comunicaciones, cómputo y algoritmos de gestión energética. La red eléctrica inteligente tiene tres objetivos principales que son:

  1. Mejorar la confiabilidad del servicio eléctrico (menos fallas del servicio).
  2. Reducir demandas pico (Tener un consumo lo más estable posible).
  3. Reducir el consumo total de energía (Tener un consumo lo más bajo posible).
    El primer objetivo plantea un problema de maximización del tiempo de servicio así como maximización de la calidad de la energía. El segundo objetivo se plantea como una minimización de demanda pico. El tercer objetivo también es un problema de minimización. Referencia: https://file.scirp.org/pdf/AJOR_2013013014361193.pdf
    Sin restricciones: C. Encontrar el consumo energético máximo de una fábrica en kwh teniendo registros de consumo energético en medios digitales generados por medidores eléctricos inteligentes. D. Encontrar la menor cantidad de unidades de producto para satisfacer una demanda con forma paraboloide (logística).

Parte2: Aplicaciones en Python

1. Recibir el path de un archivo de una imagen y convertirlo en una matriz numérica que represente la versión en blanco y negro de la imagen


In [2]:
from PIL import Image
import matplotlib.pyplot as plt
import numpy as np

#url = sys.argv[1]
url = 'Mario.png'

img = Image.open(url)

imggray = img.convert('LA')

2. Realizar y verificar la descomposición svd.


In [3]:
imggrayArray = np.array(list(imggray.getdata(band=0)), float)
imggrayArray.shape = (imggray.size[1], imggray.size[0])
imggrayArray = np.matrix(imggrayArray)

plt.imshow(imggray)

plt.show()

u, s, v = np.linalg.svd(imggrayArray)

print("La matriz U es: ")
print(u)
print("La matriz S es: ")
print(s)
print("La matriz V es: ")
print(v)


La matriz U es: 
[[-0.06530634 -0.02443917 -0.02890709 ..., -0.07502317  0.03296231
  -0.04627597]
 [-0.0639345  -0.01541994 -0.03144124 ..., -0.01745481 -0.02407748
  -0.03135257]
 [-0.06335821 -0.01124152 -0.03170593 ...,  0.01710354 -0.02533348
  -0.05647215]
 ..., 
 [-0.06342568 -0.04666541 -0.00715045 ...,  0.20295431 -0.07589656
  -0.0708156 ]
 [-0.06395686 -0.04152972 -0.011296   ..., -0.0422008   0.26944437
   0.01150013]
 [-0.06524809 -0.0305129  -0.02352486 ...,  0.05179919 -0.05267411
   0.51833443]]
La matriz S es: 
[  7.20544882e+04   1.52240859e+04   1.18695167e+04   9.89904455e+03
   8.05096427e+03   6.71752053e+03   5.19080249e+03   4.73389641e+03
   4.44718816e+03   3.72111604e+03   3.42319009e+03   2.70002904e+03
   2.64463038e+03   2.56668898e+03   2.34861782e+03   2.18759816e+03
   2.03001605e+03   1.90437662e+03   1.74060653e+03   1.65200378e+03
   1.61330340e+03   1.56715040e+03   1.53888234e+03   1.47290268e+03
   1.37583667e+03   1.29198404e+03   1.19455744e+03   1.16850361e+03
   1.11424211e+03   1.07619085e+03   1.06315518e+03   1.03671835e+03
   1.02305374e+03   9.67478981e+02   9.42936717e+02   9.08591191e+02
   9.04723326e+02   8.70403823e+02   8.50456691e+02   8.24815010e+02
   8.09201295e+02   7.95408848e+02   7.72566692e+02   7.59417325e+02
   7.40792132e+02   7.10814384e+02   7.00183843e+02   6.93196152e+02
   6.83572622e+02   6.64352759e+02   6.39916319e+02   6.33821161e+02
   6.19772102e+02   6.18394422e+02   6.03391726e+02   5.86038692e+02
   5.78086946e+02   5.68444550e+02   5.63870934e+02   5.56940022e+02
   5.41638407e+02   5.38035901e+02   5.33956397e+02   5.19455115e+02
   5.10098428e+02   4.98281123e+02   4.89704510e+02   4.86532460e+02
   4.78630165e+02   4.69326136e+02   4.68354052e+02   4.63488197e+02
   4.53435824e+02   4.47664920e+02   4.36651279e+02   4.36170058e+02
   4.29874006e+02   4.24365371e+02   4.09304756e+02   4.08503390e+02
   4.06089231e+02   3.95911168e+02   3.93175452e+02   3.86891875e+02
   3.76672207e+02   3.70078567e+02   3.68030938e+02   3.66487732e+02
   3.60316037e+02   3.53023346e+02   3.51386012e+02   3.49075982e+02
   3.45434406e+02   3.40302127e+02   3.34625073e+02   3.28133166e+02
   3.24492814e+02   3.22328956e+02   3.18780928e+02   3.17873357e+02
   3.14612392e+02   3.08813608e+02   3.05400104e+02   3.03324768e+02
   3.00027374e+02   2.93699531e+02   2.89307136e+02   2.88422539e+02
   2.85529350e+02   2.82036232e+02   2.80315273e+02   2.76277508e+02
   2.72813023e+02   2.68449226e+02   2.66405001e+02   2.63702751e+02
   2.62824482e+02   2.58481720e+02   2.54869491e+02   2.54350860e+02
   2.50975803e+02   2.49297657e+02   2.47966032e+02   2.45579227e+02
   2.43064384e+02   2.40578856e+02   2.39227588e+02   2.37000259e+02
   2.35548748e+02   2.32565877e+02   2.30778604e+02   2.29838383e+02
   2.27229694e+02   2.24825542e+02   2.22650815e+02   2.20635478e+02
   2.19788669e+02   2.17178265e+02   2.14502856e+02   2.12560983e+02
   2.10826356e+02   2.08071278e+02   2.07513866e+02   2.04939058e+02
   2.02947333e+02   2.01282434e+02   2.00056709e+02   1.99120596e+02
   1.97669116e+02   1.95449064e+02   1.95065443e+02   1.93616540e+02
   1.91009147e+02   1.89466595e+02   1.87684211e+02   1.85882218e+02
   1.83664023e+02   1.80588909e+02   1.80501898e+02   1.78982740e+02
   1.76453346e+02   1.74936271e+02   1.74164479e+02   1.73717724e+02
   1.72195303e+02   1.71821614e+02   1.68514737e+02   1.67084359e+02
   1.66946082e+02   1.65209679e+02   1.64027219e+02   1.62133866e+02
   1.61671540e+02   1.60881105e+02   1.58009095e+02   1.56479168e+02
   1.55706894e+02   1.54729880e+02   1.52268256e+02   1.51404263e+02
   1.50315225e+02   1.48089807e+02   1.47175735e+02   1.46760303e+02
   1.46097386e+02   1.44392471e+02   1.43586524e+02   1.40914883e+02
   1.39910997e+02   1.39188814e+02   1.38333928e+02   1.36467621e+02
   1.35054052e+02   1.33261186e+02   1.32626418e+02   1.31902185e+02
   1.31647856e+02   1.29266855e+02   1.28380449e+02   1.28309843e+02
   1.27110298e+02   1.25394259e+02   1.24735257e+02   1.23325218e+02
   1.22691656e+02   1.21199408e+02   1.20937316e+02   1.19719098e+02
   1.19447502e+02   1.18589841e+02   1.16852110e+02   1.14948660e+02
   1.14617139e+02   1.12732131e+02   1.11970279e+02   1.11499604e+02
   1.10594531e+02   1.10074527e+02   1.09070052e+02   1.07557641e+02
   1.06218784e+02   1.05475644e+02   1.04679604e+02   1.03696659e+02
   1.02860328e+02   1.01672257e+02   1.00579307e+02   1.00249525e+02
   9.90792254e+01   9.86846327e+01   9.75687333e+01   9.66924444e+01
   9.58017176e+01   9.43600705e+01   9.38764687e+01   9.30836837e+01
   9.14712621e+01   9.11021357e+01   9.04687314e+01   8.96274904e+01
   8.82669236e+01   8.74956484e+01   8.71793186e+01   8.58010405e+01
   8.49442861e+01   8.47277914e+01   8.37261733e+01   8.26738269e+01
   8.17280545e+01   8.13375610e+01   8.05416978e+01   8.00351683e+01
   7.90315717e+01   7.81124907e+01   7.72857239e+01   7.67477085e+01
   7.58390791e+01   7.50511475e+01   7.43792774e+01   7.32811115e+01
   7.31020830e+01   7.22624653e+01   7.19584607e+01   7.11459153e+01
   7.01865465e+01   6.93336090e+01   6.87270730e+01   6.80437213e+01
   6.66994961e+01   6.64737086e+01   6.48638103e+01   6.44776616e+01
   6.35512994e+01   6.25164227e+01   6.21704524e+01   6.20426319e+01
   6.17185443e+01   5.94953657e+01   5.87587704e+01   5.85584658e+01
   5.75253342e+01   5.69540835e+01   5.66972441e+01   5.59294343e+01
   5.48024028e+01   5.44536528e+01   5.34639444e+01   5.28199883e+01
   5.20287355e+01   5.16730263e+01   5.08114092e+01   4.96951097e+01
   4.91169193e+01   4.90164399e+01   4.78020739e+01   4.68513489e+01
   4.64606627e+01   4.61844610e+01   4.52682510e+01   4.35696920e+01
   4.33445404e+01   4.21671001e+01   4.17834678e+01   4.12047946e+01
   4.02974589e+01   4.01243583e+01   3.91109397e+01   3.86316596e+01
   3.81734047e+01   3.73323066e+01   3.60830048e+01   3.57550987e+01
   3.52286364e+01   3.42739508e+01   3.36834596e+01   3.31527328e+01
   3.23341964e+01   3.19673090e+01   3.18616020e+01   3.14306840e+01
   2.95135183e+01   2.92609594e+01   2.89369350e+01   2.83657545e+01
   2.79496287e+01   2.73751166e+01   2.71926583e+01   2.64498476e+01
   2.50716934e+01   2.47155102e+01   2.42086358e+01   2.37707994e+01
   2.26311195e+01   2.25301680e+01   2.13939619e+01   2.09135772e+01
   2.03122766e+01   1.98432361e+01   1.89841859e+01   1.84440408e+01
   1.75868808e+01   1.68258961e+01   1.65505248e+01   1.62548721e+01
   1.56792824e+01   1.50178593e+01   1.45305671e+01   1.34115145e+01
   1.32841039e+01   1.26915965e+01   1.17508667e+01   1.16360042e+01
   1.11407602e+01   1.09050783e+01   1.02084641e+01   9.32848369e+00
   8.90397229e+00   8.26420884e+00   8.21438618e+00   7.65804779e+00
   7.43892403e+00   7.31160084e+00   6.89803675e+00   6.29226959e+00
   6.02261502e+00   5.42628564e+00   5.25225737e+00   4.94638140e+00
   4.28250376e+00]
La matriz V es: 
[[-0.07448385 -0.07356176 -0.07322389 ..., -0.07439508 -0.07449381
  -0.07463315]
 [ 0.04146556  0.03835746  0.03695772 ...,  0.03935575  0.04024427
   0.04157282]
 [ 0.01316498  0.02035323  0.02302352 ...,  0.01293918  0.01288934
   0.01207155]
 ..., 
 [-0.00841708  0.00945123 -0.02006969 ..., -0.0090547   0.01402876
   0.02209206]
 [-0.26539106  0.03386329 -0.02657977 ..., -0.02568812 -0.00106725
   0.29979685]
 [-0.05415077  0.00677909 -0.02217613 ..., -0.00443304  0.09205437
  -0.01832673]]

3. Usar la descomposición para dar una aproximación de grado k de la imagen.</li>

4. Para alguna imagen de su elección, elegir distintos valores de aproximación a la imagen original.


In [4]:
for i in range(1,50,10):
    reconstimg = np.matrix(u[:, :i]) * np.diag(s[:i]) * np.matrix(v[:i,:])
    plt.imshow(reconstimg, cmap='gray')
    plt.show()


Contestar, ¿qué tiene que ver este proyecto con compresión de imágenes? En este proyecto se planteó una aplicación de la descomposición de una imagen mediante svd y se pudo comprender que esta técnica permite la compresión de información mediante reducción de componentes principales, es decir reducción de columnas en la matriz U, filas o columnas de la matriz S (componentes principales) y filas de la matriz $V^{-1} $

Ejercicio2

Funciones del ejercicio2


In [87]:
def lin_solve_pseudo(A,b): 
    pseudoinv = pseudoinverse(A)
    return np.matmul(pseudoinv,b)

def pseudoinverse(A): 
    u,s,v = np.linalg.svd(A)            
    diagonal = np.diag(s)
    if v.shape[0] > diagonal.shape[1]:       
        print("Agregando columnas a la sigma")
        vector = np.array([[0 for x in range(v.shape[0] - diagonal.shape[1])] for y in range(diagonal.shape[0])])                      
        diagonal = np.concatenate((diagonal, vector), axis=1)

    elif u.shape[1] > diagonal.shape[0]:
        print("Agregando renglones a la sigma")
        vector = np.array([[0 for x in range(diagonal.shape[0])] for y in range(u.shape[1]-diagonal.shape[0])])
        diagonal = np.concatenate((diagonal, vector), axis=0)
        
    for a in range(diagonal.shape[0]):
        for b in range(diagonal.shape[1]):
            if diagonal[a][b] != 0:
                diagonal[a][b] = 1/diagonal[a][b]
                
    resultante = np.dot(np.transpose(v),np.transpose(diagonal))
    resultante = np.dot(resultante,np.transpose(u))
    return resultante

1. Programar una función que dada cualquier matriz devuelva la pseudoinversa usando la descomposición SVD. Hacer otra función que resuelva cualquier sistema de ecuaciones de la forma Ax=b usando esta pseudoinversa.


In [88]:
A = np.array([[1,1,1],[1,1,3],[2,4,4]])
b = np.array([[18,30,68]])

solve = lin_solve_pseudo(A,np.transpose(b))
print(solve)


[[  2.]
 [ 10.]
 [  6.]]

2. Jugar con el sistema Ax=b donde A=[[1,1],[0,0]] y b puede tomar distintos valores.

(a) Observar que pasa si b esta en la imagen de A (contestar cuál es la imagen) y si no está (ej. b = [1,1]). (b) Contestar, ¿la solución resultante es única? Si hay más de una solución, investigar que carateriza a la solución devuelta. (c) Repetir cambiando A=[[1,1],[0,1e-32]], ¿En este caso la solucíon es única? ¿Cambia el valor devuelto de x en cada posible valor de b del punto anterior?


In [89]:
print("(a)")
print("La imagen de A es cualquier vector de dos coordenadas en donde la segunda componente siempre sea cero")
print("Vector b en imagen de A")
A = np.array([[1,1],[0,0]])
b = np.array([[12,0]])
solve = lin_solve_pseudo(A, np.transpose(b))
print(solve)
print("Cuando b esta en la imagen, la funcion lin_solve_pseudo devuelve la solucion unica a su sistema")

print("Vector b no en imagen de A")
b = np.array([[12,8]])
solve = lin_solve_pseudo(A, np.transpose(b))
print(solve)
print("Cuando b no esta en la imagen, devuelve la solucion mas aproximada a su sistema")


(a)
La imagen de A es cualquier vector de dos coordenadas en donde la segunda componente siempre sea cero
Vector b en imagen de A
[[ 6.]
 [ 6.]]
Cuando b esta en la imagen, la funcion lin_solve_pseudo devuelve la solucion unica a su sistema
Vector b no en imagen de A
[[ 6.]
 [ 6.]]
Cuando b no esta en la imagen, devuelve la solucion mas aproximada a su sistema

In [90]:
print("(c)")
A = np.array([[1,1],[0,1e-32]])
b = np.array([[12,9]])
solve = lin_solve_pseudo(A, np.transpose(b))
print(solve)
cadena = """En este caso, la solucion devuelta siempre es el valor de la segunda coordenada del vector b por e+32\
             y es el valor de ambas incognitas, solo que con signos contrarios ej(x1=-9.0e+32, x2=9.0e+32) \
             esto debido a que cualquier numero entre un numero muy pequenio tiende a infinito, de manera que la \
             coordenada dos del vector tiene mucho peso con referencia a la coordenada uno del vector
         """
print(cadena)


(c)
[[ -9.00000000e+32]
 [  9.00000000e+32]]
En este caso, la solucion devuelta siempre es el valor de la segunda coordenada del vector b por e+32             y es el valor de ambas incognitas, solo que con signos contrarios ej(x1=-9.0e+32, x2=9.0e+32)              esto debido a que cualquier numero entre un numero muy pequenio tiende a infinito, de manera que la              coordenada dos del vector tiene mucho peso con referencia a la coordenada uno del vector
         

Ejercicio3

1. Leer el archivo study_vs_sat.csv y almacenearlo como un data frame de pandas.


In [91]:
import pandas as pd
import matplotlib.pyplot as plt

data = pd.read_csv("./study_vs_sat.csv", sep=',')
print(data)


    study_hours  sat_score
0             4        390
1             9        580
2            10        650
3            14        730
4             4        410
5             7        530
6            12        600
7            22        790
8             1        350
9             3        400
10            8        590
11           11        640
12            5        450
13            6        520
14           10        690
15           11        690
16           16        770
17           13        700
18           13        730
19           10        640

2. Pleantear como un problema de optimización que intente hacer una aproximación de la forma sat_score ~ alpha + beta*study_hours minimizando la suma de los errores de predicción al cuadrado, ¿Cuál es el gradiente de la función que se quiere optimizar (hint: las variables que queremos optimizar son alpha y beta)?


In [107]:
hrs_studio = np.array(data["study_hours"])
sat_score = np.array(data["sat_score"])

A = np.vstack([hrs_studio, np.ones(len(hrs_studio))]).T

m,c = np.linalg.lstsq(A,sat_score)[0]

print("Beta y alfa: ")
print(m,c)


Beta y alfa: 
25.3264677779 353.164879499

3. Programar una función que reciba valores de alpha, beta y el vector study_hours y devuelva un vector array de numpy de predicciones alpha + beta*study_hours_i, con un valor por cada individuo


In [108]:
def predict(alfa, beta, study_hours):
    study_hours_i=[]
    for a in range(len(study_hours)):
        study_hours_i.append(alfa + beta*np.array(study_hours[a]))
    return study_hours_i

print("prediccion")
print(predict(353.165, 25.326, hrs_studio))


prediccion
[454.46900000000005, 581.09900000000005, 606.42499999999995, 707.72900000000004, 454.46900000000005, 530.447, 657.077, 910.33699999999999, 378.49100000000004, 429.14300000000003, 555.77300000000002, 631.75099999999998, 479.79500000000002, 505.12100000000004, 606.42499999999995, 631.75099999999998, 758.38100000000009, 682.40300000000002, 682.40300000000002, 606.42499999999995]

4. Definan un numpy array X de dos columnas, la primera con unos en todas sus entradas y la segunda con la variable study_hours. Observen que X[alpha,beta] nos devuelve alpha + beta study_hours_i en cada entrada y que entonces el problema se vuelve sat_score ~ X*[alpha,beta]


In [109]:
unos = np.ones((len(hrs_studio),1))
hrs_studio = [hrs_studio]
hrs_studio = np.transpose(hrs_studio)
x = np.hstack((unos, hrs_studio))
print("La prediccion es: ")
print(np.matmul(x,np.array([[353.165],[25.326]])))


La prediccion es: 
[[ 454.469]
 [ 581.099]
 [ 606.425]
 [ 707.729]
 [ 454.469]
 [ 530.447]
 [ 657.077]
 [ 910.337]
 [ 378.491]
 [ 429.143]
 [ 555.773]
 [ 631.751]
 [ 479.795]
 [ 505.121]
 [ 606.425]
 [ 631.751]
 [ 758.381]
 [ 682.403]
 [ 682.403]
 [ 606.425]]

5. Calculen la pseudoinversa X^+ de X y computen (X^+)*sat_score para obtener alpha y beta soluciones.


In [110]:
X_pseudo = pseudoinverse(x)
print("Las alfas y betas son: ")
print(np.matmul(X_pseudo,sat_score))


Agregando renglones a la sigma
Las alfas y betas son: 
[ 353.1648795    25.32646778]

6. Comparen la solución anterior con la de la fórmula directa de solución exacta (alpha,beta)=(X^tX)^(-1)X^t*sat_score


In [112]:
def comparacion(X, sat_score):
    x_transpose = np.transpose(X)    
    return np.matmul(np.linalg.inv(np.matmul(x_transpose,X)), np.matmul(x_transpose,sat_score))

In [113]:
#x = np.array([[1,1],[1,2],[1,3]])
#y = np.array([5,6,7])
x = np.hstack((unos, hrs_studio))
print(comparacion(x, sat_score))


[ 353.1648795    25.32646778]

La comparación de este método con el anterior es que ambos regresan el ajuste a mínimos cuadrados

7. (Avanzado) Usen la libreria matplotlib para visualizar las predicciones con alpha y beta solución contra los valores reales de sat_score.


In [115]:
plt.plot(hrs_studio, sat_score, 'o', label='Original data', markersize=10)
plt.plot(hrs_studio, m*hrs_studio + c, 'r', label='Fitted line')
plt.legend()
plt.show()


8. (Muy avanzado) Programen el método de descenso gradiente para obtener alpha y beta por vía de un método numérico de optimización. Experimenten con distintos learning rates (tamaños de paso).


In [ ]:


In [ ]: