En este notebook veremos algunos ejemplos sencillos de web scraping y al mismo tiempo aprenderemos un poco de HTML. La razón por la cual veremos HTML es porque al scrapear es útil identificar la estructura general de una página web y saber donde es posible que se encuentre la información que buscamos. El saber un poco de HTML nos facilitará el extraer la información.
Pero ¿Qué es Web Scraping?
En palabras llanas es una técnica que se apoya en el uso de la programación para extraer información de páginas web y tratar de estructurarla de tal forma que sea útil para trabajar con ella.
¿Y qué es HTML?
HTML son las siglas de HyperText Markup Language y es el lenguaje está1ndar en que se hacen las páginas de internet. Prácticamente todas las páginas que vemos en internet son en su mayoría cientos e incluso miles de líneas de este lenguaje.
En HTML todo está1 encerrado por lo que se conoce como etiquetas que se pueden entender como instrucciones para los navegadores que les indican la forma y estilo del texto encerrado entre éstas. La estructura general de una página escrita en HTML es la siguiente:
<html>
<head>
<title>.........</title>
.
.
.
</head>
<body>
<h1>.....</h1>
.
.
.
<p>.....</p>
.
.
.
</body>
</html>
Todo lo que está entre <> son las etiquetas. Como podemos ver todas tienen una pareja <..></...>, <...> indica el inicio de una etiqueta y </...> el final de ésta. Las principales etiquetas son estas:
<title>Indica el título de la página (el que vemos en la pestaña del navegador)</title>
<body>En esta etiqueta se encuentra todo el contenido de la página</body>
<h1,h2,h3...h6**>Indican los títulos que hay dentro del texto</h1...>
<p>Indican parrafos</p>
<a ...>Indican links</a>
<td ...>Indican texto dentro de una tabla</td>
<strong>Indica texto en negritas</strong>
<img ...>Indica una imagen</img>
Algunas etiquetas incluyen lo que se conoce como clases y atributos que modifican las características de la etiqueta. Son fácil identificarlos ya que se escriben después de la etiqueta y siempre llevan un signo = .
Para estos ejemplos introductorios usaremos una p\u00e1gina relativamene sencilla de scrapear. Empezaremos cargando la p\u00e1gina que utilizaremos en este notebook.
In [20]:
from IPython.display import HTML
p = """https://raw.githubusercontent.com/beangoben/lerningMachin/master/PaginaWeb/D%C3%ADa%20de%20muertos.html"""
pa = HTML(p);pa
Out[20]:
Con el código anterior cargamos la página de la cual extraeremos la información.
Para este primer ejemplo lo que haremos es obtener el título de la página web (el que aparece en la pestaña del navegador). Es importante recalcar que antes de cualquier cosa debemos importar las librerías que necesitaremos.
In [8]:
import urllib.request
import bs4
import re
Con las instrucciones anteriores hemos cargado las librerías que usaremos para el scrapping. Urllib.request nos permite acceder a las páginas (Si usas Python 2 debes cambiar urllib.request por urllib2), Beautiful Soup (bs4) nos permite parsear la página, re es la librería de Python de expresiones regulares.
Para aprender más acerca del uso de estas librerías podemos vistar las siguientes p\u00e1ginas:
Después de que importamos la librerías podemos empezar a trabajar con la página. Lo primero que debemos hacer con una página es abrirla, para eso crearemos una función para facilitar la tarea.
In [9]:
def crearSopa(url):
pageUrl = urllib.request.urlopen(url)
pageHtml = pageUrl.read()
pageUrl.close()
return bs4.BeautifulSoup(pageHtml)
Con la función anterior abriremos la página, después la leeremos crearemos la sopa y cerraremos la página. A continuación le indicaremos al programa con que página debe hacer todo lo anterior.
In [10]:
sopa = crearSopa("https://raw.githubusercontent.com/beangoben/lerningMachin/master/PaginaWeb/D%C3%ADa%20de%20muertos.html")
Con la instrucción anterior hemos guardado todo el archivo HTML en la variable soup. Para comprobarlo veamos que tiene soup al imprimir esta variable.
In [11]:
print(sopa)
Pero nosotros no queremos todo el código. Por el momento sólo nos interesa el t\ítulo de la pá1gina. Para esto primero debemos identificar en que etiquetas se encuentra esta información. En este caso las etiquetas que encierran la información que requerimos son <h1>. Afortunadamente Beautiful Soup nos permite obtener esta información de manera relativamente sencilla.
In [16]:
titulo = sopa.h1.get_text()
print(titulo)
Hemos obtenido el título.En la primer línea del código anterior hemos escrito title entre soup y get_text() porque de esta manera le indicamos al programa entre que etiquetas buscar. La función get_text() nos permite obtener sólo el texto entre las etiquetas que deseamos.
Ya hemos obtenido el título de la página pero eso es muy sencillo. Ahora vamos a obtener las palabras en negritas del texto. Primero debemos identificar las etiquetas en las que se encuentran estas palabras. Las etiquetas son <strong>. Lamentablemente no podemos usar el método anterior porque sólo obtiene el texto de las primeras etiquetas que encuentra, no de el de todas con la misma etiqueta. Por lo tanto debemos usar otro método, para el cual usaremos la función de Beautiful Soup find_all().
In [12]:
palabrasclave = sopa.find_all("strong")
print(palabrasclave)
Podemos ver que el nuevo método obtuvo todas las palabras que queríamos pero dejo las etiquetas de HTML y esas no nos sirve.
In [13]:
palabrascl = []
for indx, pacl in enumerate(palabrasclave):
pacl = str(pacl.renderContents())
palabrascl.append(pacl)
print(palabrascl)
Definimos una lista palabrascl en la que guardaremos las palabras después de haber quitado el texto basura. Hemos quitado las etiquetas pero sigue quedando una b'. Agregaremos esto también en la función replace.
In [14]:
palabrascl = []
for indx, pacl in enumerate(palabrasclave):
pacl = str(pacl.renderContents())
pacl = pacl.replace("b'","")
pacl = pacl.replace("'","")
palabrascl.append(pacl)
print(palabrascl)
Finalmente hemos obtenido sólo el texto de todas las palabras clave de la página.
Ahora hagamos algo que puede ser muy útil para futuros scrapings, obtener los links dentro de una página web. Nuevamente debemos identificar las etiqutas donde se encuentran alojados los links. En el caso de los links esta etiqueta es <a>.
In [18]:
a = sopa.find_all("a")
for indx, links in enumerate(a):
print(indx,links.get('href'))
En este ejemplo usamos la función de Beautiful Soup get(), el primer argumento indica la etiqueta de la que queremos obtener la información en este caso <links> y dentro de get() el atributo de la etiqueta.
Para este ejemplos buscaremos extraer la información de la tabla pero sólo los datos de la primer columna. De nuevo observando el código HTML nos damos cuenta de que la información que necesitamos se encuentran entre las etiquetas <td> pero a diferencia del texto de la segunda columna las etiquetas tienen un atributo "align = center". Podemos aprovechar esto a nuestro favor para indicarle al programa de una manera más específica que es lo que queremos que encuentre.
In [17]:
elementos = []
datostabla = sopa.find_all("td",{"align" : "center"})
for indx, elem in enumerate(datostabla):
elem = str(elem.renderContents())
elem = elem.replace("b'","")
elem = elem.replace("'","")
elementos.append(elem)
print(elementos)
En la función find_all() además de indicar la etiqueta que queremos que busque también agregamos el atributo que tiene la primer columna a diferencia del ejemplo de las palabras clave en el que bastaba con indicar la etiqueta donde se encontraban las palabras.
Si no indicamos el atributo obtendrémos las dos columnas ya que el programa busca todo lo que se encuentra en la etiqueta <td>, por eso es importante aprovechar las clases y los atributos.