NLP & Language AI Engineer

Module 1 · Fondamentaux du NLP · Leçon 1 sur 1

Vue d'ensemble — Fondamentaux du NLP

Vue d'ensemble — Fondamentaux du NLP Objectif : Tokeniser, lemmatiser et nettoyer un corpus textuel sans détruire le sens. Durée d'étude : Durée d'étude : 3 h Prérequis : Bases de Python : variables, listes et boucles (formation AI Engineer, module 1) Fil rouge : Awa, à Dakar. Awa gère la page Facebook d'une petite entreprise de Dakar. Elle exporte cinq cents commentaires de clients : emojis partout, fautes, accents manquants, quelques numéros de téléphone. Un programme ne peut pas analyser cela tel quel. Dans ce module, elle apprend à découper le texte sans le détruire, à nettoyer son corpus avec des règles qu'elle peut expliquer, et à choisir entre lemmatisation et stemming. Plan des leçons : 1. Le NLP au-delà des LLM et des chatbots 2. Tokeniser sans détruire le sens 3. Nettoyer un corpus réel 4. Lemmatisation vs stemming sur des annonces commerciales Ce que tu sauras faire : - Comparer la tokenisation par mot, par sous-mot et par caractère sur une même phrase - Nettoyer un lot de commentaires bruts sans détruire les emojis ni les informations utiles - Distinguer lemmatisation et stemming sur des verbes conjugués tirés d'annonces Questions de fin de module (Réponds par écrit, avec des chiffres.) : 1. Combien de tokens donne la phrase de ton choix découpée par mot, puis par caractère ? Donne les deux nombres. 2. Quelles règles de nettoyage as-tu appliquées à ton échantillon, et laquelle as-tu refusé d'appliquer ? 3. Sur tes dix commentaires, combien contenaient un emoji, un numéro de téléphone ou un mot sans accent manquant ? Donne les trois nombres. 4. Quelle différence fais-tu entre lemmatisation et stemming ? Réponds en deux phrases. Livrables du module : - Ta fiche de corpus de l'ONG avec ses cinq règles de nettoyage - Le compte rendu du lab : tokens, deux commentaires nettoyés, comptages et justification des emojis

Aperçu gratuit, sans compte — la suite de ce module et les modules suivants s'ouvrent après inscription.