Digital Image Processing - Problem Set 4

Student Names:

• Karolay Ardila Salazar
• Julián Sibaja García
• Andrés Simancas Mateus

Instructions

This Problem Set covers the topics of Morphological operations, Region filling, Canny edge detection, Hough Transform, Thresholding, Watershed segmentation, $k$-means segmentation.

Your solutions to the following problems should include commented source code and a short description of each function. You should test your functions with several input images, besides the ones provided here. Include the input and output images that you used for experimentation. Analyze your results. If you discover something interesting, let us know!

Definitions

Problem 1

Write a function that performs the following sequence of morphological operations on a binary image and displays the intermediate and final results.

1. Create a square-shaped structuring element of size 3 by 3.
2. Erode the input image.
3. Dilate the result of b.
4. Dilate the result of c.
5. Erode the result of d.

Write a second function that performs the following operations and displays the intermediate and final results.

1. Create a square-shaped structuring element of size 3 by 3.
2. Perform opening of the input image.
3. Compute the closing of the result from b.

Apply both functions to the image noisy_fingerprint.jpg. Discuss the differences and similarities between the final results of using both functions.

Análisis

El propósito del siguiente código es verificar si la aplicación de erosión y dilatación, en un orden especifico y un numero de veces determinado en una imagen, tiene el mismo efecto de aplicar apertura y luego cierre en una imagen. Para esto primero se aplica erosión, luego dos veces dilatación y por ultimo erosión; Al compara es lo mismo que hacer apertura (erosión y luego dilatación) y luego cierre que es el proceso contrario. A continuación se tienen 2 funciones que hacen este proceso los dos caminos diferentes, ya sea aplicando erosión y dilatación o aplicando apertura y cierre. Ambas funciones tomas como parámetro de entrada una imagen y devuelven la imagen con las respectivas modificaciones morfológicas aplicadas.

Se puede ver que por estas dos formas el resultado es el mismo comparando las imágenes de abajo. Además de esto se pudo comprobar la eficacia que tienen este tipo de operaciones morfológicas para elimiar algunos componentes de la imagen que se pueden considerar ruido.

Problem 2

Write a function that implements the region filling function discussed in class. In this function you will need to use an interactive plot, so we need to disable inline plotting. This can be done with the following code:

The algorithm should proceed as follows:

1. Open and display the input binary image.
2. Using the plt.ginput function, specify a pixel within the region that you want to fill. Record the $(x, y)$ coordinate of the selected pixel.
3. Generate $X_0$, a binary image whose size is equal to the size of the input image. The pixel at the coordinate selected in the previous step should be set to 1, all other pixels should be set to zero.

4. Compute $X_k$ according to the following equation. Repeat until convergence, i.e. $X_k = X_{k-1}$ \begin{equation} X_k=(X_{k-1} ⊕ B) ∩ A^c \end{equation}

5. Compute the union between the final $X_k$ and the original image to fill the region.

Apply your function to the image spheres.jpg to fill in all the black circles.

Análisis

Para la realización del siguiente código se utilizó nuevamente la operación de dilatación. La cual cumple un papel importante ya que es la que la imagen se "expanda" y así poder rellenar la región. Una vez que se hace dilatación se hace intersección con el complemento a la imagen original para limitar que no se escape de los bordes. Al final no habrá cambios al aplicar este proceso repetidamente, y en ese punto se habrá llenado la región completamente. La función acepta una imagen como parámetro de entrada y regresa una imagen con la región que se encuentra en el punto que se seleccionará como salida, esto es, solo rellena una región cuando la función es llamada.

Esta aplicación de erosión es bastante útil ya que, nos permite rellenar cualquier región en una imagen binaria,y además de esto lo hace de forma rápida.

Problem 3

Connected component labeling (also known as connected component analysis, blob extraction, region labeling, blob discovery, or region extraction) is an algorithm that uniquely labels connected components. The definition of connected components depends on the type of pixel adjacency used (pixel adjacency is defined and described in the book). In this problem, we will look at how the result of a connected component labeling algorithm changes when using 4-adjacency or 8-adjacency.

Write a function, labelConnectedComponents, which identifies and labels each connected component in a binary image. The function should take as an input the kind of adjacency to be used (either 4-adjacency or 8-adjacency). The function should also display the resulting connected components as shown below (particular coloring may differ). Apply this function to the images crosses.gif and chessboard.gif. Compare the connected components obtained when using 4-adjacency against those obtained when using 8-adjacency. Please comment your results: are these what you expected?

Hint: Use the functions cv2.findContours and cv2.drawContours. The following Wikipedia article is also a useful reference: http://en.wikipedia.org/wiki/Connected_Component_Labeling

Análisis

Comenzamos nuestro programa guardando la imagen que vamos a utilizar en una variable. Luego seguimos con definir nuestra función que recibe dos parámetros, la imagen y el valor de adjacency. Aplicamos threshold con la función cv2 llamada de la misma forma y cambiamos la imagen a BGR, además creamos las máscaras que usaremos más adelante con la función floodFill y obtenemos el tamaño de la imagen para recorrer pixel a pixel dentro de un for. Es necesario comparar el valor de adjacency que se ingrese. Los posibles valores son 4 u 8 cuando no se presenta ninguno de estos dos casos mostramos un mensaje que indica los dos valores permitidos para esta variable. Dependiendo si el valor es 4 u 8 seleccionaremos un valor para flag de 4 u 8 correspondientemente en la función floodFill y por último mostramos las imágenes resultantes.

Problem 4

The blog ‘Steve on Image Processing’ contains useful information about image processing with MATLAB. One of Steve’s posts talks about using morphological operations to identify characters containing a tall vertical segment. The post is at: http://blogs.mathworks.com/steve/2008/07/14/opening-by-reconstruction/

Replicate the results with Python and OpenCV. You may find that the functions cv2.findContours and cv2.floodFill are useful for this.

Análisis

El proceso mostrado en el blog de Matlab se reduce a los siguientes pasos:

• Hacer eroción de la imagen con un elemento estructurante vertical,
• Rellenar las letras que coincidan con el resultado de la erosión (en esos puntos)

El primero de los dos pasos es idéntico en Python: se crea una columna de unos (de largo 51) y se erosiona la imagen con esta columna como elemento estructurante. Hasta ahora los resultados obtenidos son idénticos a aquellos del blog de Matlab. La idea siguiente es hacer un rellenado de las letras partiendo de los puntos que quedaron luego de hacer la erosión. Para esto recuperamos los puntos en una lista (de puntos) valiéndonos de la función nonzero de numpy. Usando estos puntos como base se llama a la función cv2.floodFill; esta función recibe como parámetros una imagen de salida, una máscara, un punto para comenzar a rellenar y el color de relleno. Por alguna razón el punto se tiene que dar al reves ([y,x] en vez de [x,y]); la máscara es la imagen original invertida, esto es porque floodFill se detiene cuando encuentra fronteras de unos, por lo tanto las letras no pueden ser blancas.

Problem 5

Write a function that detects edges in an image using Canny’s method, which is available in the function cv2.Canny. Your function should first smooth the image using a Guassian filter, which you can do with cv2.GaussianBlur. Try out Canny's method with different sizes the smoothing kernel and analyze the results. Also, try changing the thresholds in the edge detection process. What are the effects of each parameter?

Análisis

Creamos una función llamada Detector, la cual recive como parámetros la imagen que se procesará, un número impar kernel para el filtro y los valores mínimos y máximos de threshold. Primero guardamos en una variable el resultado de aplicar el filtro en nuestra imagen seleccionada con la función GaussianBlur de cv2. Luego, en otra variable llamada edges guardamos el resultado de llamar la función Canny con la imagen filtrada como parámetro y finalmente mostramos la imagen resultante.

En los resultados podemos ver que para un mismo rango de threshold, entre menor sea el número de kernel para el filtro, se pueden detectar más bordes en la imagen. Respecto a cambiar el valor de threshold vemos que a medida que aumentamos el máximo valor de este se logran detectar menos bordes.

Problem 6

Write a function that uses the Hough Transform algorithm for line detection. You can use the implementation available in OpenCV cv2.HoughLines in your function. Note that this function returns lines in the $(\rho, \theta)$ space, so you need to perform the appropiate conversions before plotting them.

Run the line detection function on an edge map obtained using Canny's method. Display the detected lines on top of the input image. You should use several images for your tests, including building.jpg.

Análisis

La función de la transformación de Hough, llamada houghTransform recibe como parámetros la imagen de bordes (binaria) y una imagen en color. Con esto calcula las líneas de Hough; cabe notar que la implementación utilizada del algoritmo es la probabilística, ya que la versión simple arroja mucho ruido. Las líneas encontradas se convierten al espacio cartesiano con cv2.line que a la vez las agrega a la imagen original en el canal de verde. Cabe notar que la función houghTransform depende severamente de la función cv2.Canny que es la que obtiene los bordes; dependiendo de los umbrales que se seleccionen en el Canny, así será el número de líneas encontrado. Para que la imagen de salida fuera decente se redujo la región de selección del Canny lo máximo posible. Se comprobaron los resultados con otras imágenes (como cameraman.jpg) y se llego a resultados aceptables (detecto las líneas del trípode de la cámara).

Problem 7

Write a function that implements a simple adaptive thresholding algorithm as described below:

1. Select an initial estimate for $T$. A good initial value for $T$ would be equal to the average of the maximum and minimum intensity value of the image.
2. Threshold the image using $T$. This produces two groups: $G_1$, with pixels whose intensity is equal or less than $T$; and $G_2$, with pixels whose intensity is greater than $T$.
3. Compute the intensity averages $\mu_1$ and $\mu_2$ for the pixels in regions $G_1$ and $G_2$.

4. Compute a new threshold value \begin{equation} T=\frac{\mu_1 + \mu_2}{2} \end{equation}

5. Repeat steps 2-4 until the difference in $T$ between successive iterations is less than a predefined parameter $T_0$.

Apply your function to the image fingerprint.jpg. Analyze your results.

Análisis

La idea del Threshold adaptativo es que el valor de umbral sea lo más centralizado posible respecto a la intensidad general de la imagen; esto es, los valores menores y mayores que él tengan un mismo valor de intensidad media sin importar cuántas iteraciones se repita el proceso. Para ello se diseñó la función adaptativeThresholding, que es una función recursiva que itera hasta que las sucesiones de T (valor de umbral) den prácticamente igual. Lo primero que se hace es calcular un valor inicial (promedio entre el máximo y el mínimo), luego se llama a la función de umbralización. Esta umbraliza la imagen con este valor y obtiene la media de las dos regiones de intensidades (menor y mayor que el umbral), con este valor se calcula el nuevo valor de umbral. Si este valor se diferencia del anterior en menos de un margen dado se detiene la ejecución, si no, se repite el proceso con el nuevo umbral. Con las imagen fingerprint.jpg, el proceso converge en 2 iteraciones.

Problem 8

Write a function that uses the $k$-means algorithm to perform image segmentation using RGB pixel colors as features. Write also a variant of this segmentation approach that uses the H and S components of each pixel represented in the HSI color space. Here, you should use normalized H and S values, so that both variables range between 0 and 1. Apply your functions to the image mms.jpg. Select an appropriate value of $k$.

Análisis

En este ejercicio se utilizo el algoritmo de K-means con el objetivo de segmentar partes de una imagen RGB. En este caso se utilizó como clustering para separar los colores de unos dulces en una imagen. Para hacer esto se creó una función llamada kmeans, la cual hace lo que dicta el algoritmo, lo cual es separar en grupos la información de los pixeles de la imagen. Para este caso se decidió haceer 9 grupos(K), ya que con esto nos dimos cuenta de que se alcanza a distinguir entre un grupo de dulces y otro. También se hizo lo mismo con la imagen en el espacio de color HSI, para esto se utilizó una función de los Problemas pasados. La función kmeans recibe como datos de entrada la imagen y la el numero de centros k. Al final se puede ver que el espacio RGB y el HSI, nos permiten ver ambos la diferencia entre los grupos de dulces de colores. La diferencia radica que mientras en RGB se necesitó una K de 9, en HSI se nesesitó 8 para representar completamente todos los grupos.