Revisão e Estudos Comparativos

Neste curso, abordamos classificadores baseados em:

• K Nearest Neighbors (KNN)
• Modelos geradores
• Classificadores lineares
• Redes neurais MLP
• Redes neurais MLP regularizadas
• Máquinas de vetor-suporte

Nesta interação, vamos estudá-las de forma comparativa.

Objetivos

Ao fim desta unidade, o aluno deverá entender as diferenças entre cada um dos tipos de classificadores abordados no curso.

Exercícios / estudo guiado

Para cada um dos tipos de classificadores:

1. Identifique (em menos de 140 caracteres para cada ítem) a idéia subjacente ao seu funcionamento;
2. Encontre o custo computacional (em notação Big-O) para as etapas de treinamento e de teste. Nessa análise, considere o número $n$ de amostras da base de dados, sua dimensão $d$ e o número de classes $c$ do conjunto analisado.
3. Verifique quanta memória (em notação Big-O) é necessária para armazenar cada um dos classificadores. Evidencie, para cada caso, quais são os parâmetros do classificador que influenciam essa memória.
4. Discuta quais tipos de classificadores são mais adequados de acordo com a disponibilidade de dados de treino, considerando uma classificação de duas classes em que há, para treinar cada classe: 1 amostra, 50 amostras (representando 5% das amostras totais), 500 amostras (representando 50% das amostras totais) e $10^9$ amostras.
5. Discuta (se preciso, com os colegas) sobre quais problemas de classificação poderiam se beneficiar das características identificadas de cada tipo de classificador.