Bureau d'étude PEIP - IS

TP8 - Classification

Nous allons reprendre le jeu de données ainsi que le modèle du TP précédent. L'idée est la suivante : optimiser les moddèles afin de trouver celui qui fonctionnera le mieux. Nous allons commencer par optimiser le modèle précédent, puis le comparer à deux autres modèles : SVM et KNN.

Travail demandé

1. Nous avons deux paramètres pour le modèle de regression linéaire vu dans le TP7 : la méthode de combinaison des vecteur ainsi que le seuil pour séparer les deux prédiction. On va s'intéresser à trois méthodes de combinaisons différentes : la différence, la moyenne, et le produit terme à terme. Définissez également 4 valeurs pour le seuils. Pour chacun de ces couple méthode/seuil, déterminez la précision du modèle de régression linéaire, et faites un tableau pour récapituler vos résultat.
2. Vous avez déterminé le meilleur seuil pour chacune des méthodes de combinaison. Nous allons maintenant faire la même chose pour le modèle KNN. Servez vous de ce tutoriel pour implémenter une méthode KNN. Testez le pour des valeurs de K égales à 3, 5, 8 et 10, et pour les trois méthodes de combinaison précédentes. Notez vos résultats dans un tableau.
3. La méthode SVM n'a pas d'hyper-paramètre en soi, elle ne dépend que de la méthode de combinaison choisie. Utilisez ce tutoriel pour implémenter SVM.
4. Nous allons maintenant essayer de comparer les trois modèles pour choisir la meilleure combinaison possible. Faites un tableau avec en ligne les trois modèles (Regression, KNN, SVM) et en colonne les trois méthodes de combinaison (Différence, Moyenne, Produit). Pour la regression et pour KNN, utilisez les meilleures valeurs de seuil ou de K déterminées précédemment.
5. À quel valeur devez vous comparer le meilleur résultat obtenu pour définir s'il s'agit d'un résultat satisfaisant ou non ?