Qu’est-ce que la Régularisation?

  • Editor
  • janvier 9, 2024
    Updated
quest-ce-que-la-regularisation

Qu’est-ce que la régularisation ? Dans le monde de l’intelligence artificielle (IA) et de l’apprentissage automatique (ML), le concept de régularisation constitue une technique essentielle, permettant de remédier à un écueil courant appelé surapprentissage.
Vous cherchez à en savoir plus sur la régularisation dans l’IA ? Continuez à lire cet article rédigé par les maestros de l’IA de All About AI.

Qu’est-ce que la régularisation ? Une quête joyeuse

La régularisation est une façon d’aider un ordinateur à apprendre mieux, tout comme un enseignant vous aide à l’école. Imaginez que vous apprenez à résoudre des problèmes de mathématiques. Si vous ne pratiquez qu’avec des problèmes très faciles, vous pourriez ne pas apprendre à résoudre les plus difficiles. Dans le monde de l’informatique, en particulier dans le

Le problème de surapprentissage

Le surapprentissage est comme un étudiant qui excelle dans les examens pratiques mais échoue dans les nouveaux tests. En apprentissage automatique, cela se produit lorsque le modèle apprend trop en profondeur les données d’entraînement, capturant ainsi du bruit et des fluctuations aléatoires. Cette hyper-ajustement se traduit par de mauvaises performances sur des données non vues.
Par exemple, images dans l’ensemble d’entraînement , échouant ainsi à identifier correctement les chiens dans de nouvelles images non rencontrées lors de l’entraînement.
Ce phénomène compromet la capacité du modèle à généraliser. Prenons l’exemple d’un modèle de prédiction météorologique entraîné sur une décennie de données d’une région spécifique.
S’il est trop ajusté, il pourrait bien fonctionner sur des données historiques mais échouer à données d’entraînement particularités plutôt que les schémas sous-jacents de changement météorologique.

Comment fonctionne la régularisation?

 Comment fonctionne la régularisation

La régularisation est comme un enseignant guidant un étudiant pour comprendre les concepts plutôt que de mémoriser des faits. Elle introduit un terme de pénalité dans le processus d’apprentissage du modèle, le décourageant de devenir trop complexe. Cette pénalité augmente au fur et à mesure que le modèle devient plus complexe, ce qui permet de trouver un équilibre entre la précision et la complexité du modèle augmente, favorisant des modèles plus simples qui se concentrent sur les tendances dominantes plutôt que sur des points de données spécifiques.
Voici un aperçu de la façon dont fonctionne la régularisation.

Étape 1: Reconnaître le surajustement

Le processus commence par l’identification du surapprentissage, où un modèle apprend si bien les données d’entraînement, y compris le bruit, qu’il se comporte mal sur de nouvelles données. La régularisation aborde ce problème.

Étape 2 : Modification de la fonction de perte

La régularisation modifie le processus d’apprentissage du modèle en ajoutant un terme de pénalité à la fonction de perte. Cette fonction mesure la précision des prédictions, et la pénalité décourage une complexité excessive.

Étape 3 : Équilibrer l’ajustement et la complexité

La pénalité crée un équilibre entre l’ajustement précis des données d’entraînement et le maintien de la simplicité pour la généralisation. Cet équilibre est crucial pour une performance efficace sur des données familières et nouvelles.

Étape 4: Définition de la force de régularisation

La force de régularisation, contrôlée par un paramètre λ, détermine l’impact de la pénalité. Des valeurs de λ plus élevées mettent l’accent sur la simplicité, réduisant le surajustement, tandis que des valeurs de λ plus faibles permettent plus de complexité.

Étape 5 : Choix des techniques de régularisation

Différentes techniques telles que la régularisation L1 (Lasso) et L2 (Ridge) appliquent des pénalités de manière unique. L1 encourage les modèles épars, tandis que L2 répartit uniformément les poids entre les caractéristiques.

Étape 6: Entraînement avec régularisation

Enfin, le modèle est entraîné en utilisant cette fonction de perte modifiée, apprenant à équilibrer l’ajustement des données et la simplicité. Cette formation implique des ajustements itératifs des paramètres, en tenant compte à la fois des contraintes de données et de régularisation.

Qu’est-ce que le paramètre de régularisation ?

 Paramètre de régularisation

Le paramètre de régularisation, souvent noté comme lambda (λ), est la clé pour contrôler cet équilibre. Il détermine la force de la pénalité appliquée à la complexité du modèle. Un λ élevé penche l’équilibre vers la simplicité, tandis qu’un λ faible permet plus de complexité. L’art réside dans la recherche du λ qui atteint l’équilib

Techniques de régularisation en apprentissage automatique

Il existe plusieurs techniques de régularisation, chacune adaptée à des scénarios différents :

  • La régularisation L1 (Lasso) : Lasso ajoute la valeur absolue des coefficients en tant que pénalité. C’est particulièrement utile pour la sélection de caractéristiques car cela peut réduire certains coefficients à zéro, éliminant ainsi efficacement certaines caractéristiques du modèle.
  • Régularisation L2 (Ridge): Ridge ajoute la magnitude au carré des coefficients en tant que pénalité. C’est idéal pour les situations avec une forte multicollinéarité ou lorsque la sélection des caractéristiques n’est pas une préoccupation principale.
  • Réseau élastique : Cette technique combine la régularisation L1 et L2, offrant une approche équilibrée qui est efficace dans différentes situations.

Quand utiliser quelle technique de régularisation ?

Le choix de la technique de régularisation dépend des caractéristiques spécifiques de l’ensemble de données et du problème en question.

Pour les données à haute dimensionnalité (nombreuses caractéristiques) :

Utilisez Lasso (L1) pour ses capacités d’élimination de fonctionnalités. Cela aide à réduire l’espace des fonctionnalités, rendant le modèle plus simple et plus interprétable.

Lorsqu’il s’agit de multicollinéarité (caractéristiques hautement corrélées):

Optez pour Ridge (L2) car il gère bien la multicollinéarité en répartissant les poids entre les caractéristiques corrélées, sans les rejeter.

Approche équilibrée nécessaire (Sélection de fonctionnalités et Multicollinéarité) :

Elastic Net est le choix privilégié. Il combine les forces de la régularisation L1 et L2, le rendant polyvalent pour les scénarios complexes où la réduction des caractéristiques et la multicollinéarité sont des préoccupations.

Envie de lire plus ? Explorez ces glossaires sur l’IA !

Lancez-vous dans votre quête éducative en IA avec nos glossaires complets, destinés aux débutants et aux apprenants expérimentés en IA. Considérez ceci comme votre principal allié pour améliorer votre compréhension de l’IA et découvrir de nouveaux concepts en IA.

FAQ (Foire Aux Questions)

La régularisation L1 (Lasso) et L2 (Ridge) sont deux techniques couramment utilisées en apprentissage automatique. La régularisation L1 ajoute une valeur absolue de coefficients à la fonction de perte, encourageant la parcimonie dans le modèle. La régularisation L2, en revanche, ajoute le carré des coefficients, ce qui facilite la gestion de la multicolinéarité et la stabilité du modèle.


La régularisation est une méthode utilisée dans l’apprentissage automatique pour éviter le surajustement, une situation dans laquelle un modèle apprend trop bien les données d’entraînement mais ne parvient pas à les généraliser à de nouvelles données.


La normalisation est une étape de prétraitement dans laquelle les caractéristiques numériques d’un ensemble de données sont mises à l’échelle selon une plage uniforme. La régularisation, en revanche, est appliquée lors de la formation du modèle pour réduire le surajustement et améliorer la généralisation du modèle.


La normalisation des données avant la régularisation garantit que toutes les fonctionnalités contribuent de manière égale au processus d’apprentissage du modèle. Cette uniformité améliore l’efficacité de la régularisation, car elle empêche les caractéristiques à plus grande échelle de dominer le processus d’apprentissage.

La normalisation est essentielle avant la régularisation car elle uniformise les règles du jeu entre les fonctionnalités. Sans normalisation, les caractéristiques à plus grande échelle peuvent influencer le modèle de manière disproportionnée, conduisant à des prédictions biaisées et peu fiables.


Mots finaux

La régularisation en IA et en apprentissage automatique est bien plus qu’une simple technique ; c’est une approche stratégique du développement de modèles qui garantit l’équilibre, la flexibilité et la généralisabilité.
En comprenant et en appliquant habilement la régularisation, les praticiens peuvent construire des modèles d’IA qui sont non seulement compétents pour interpréter les données d’entraî Guide des définitions de l’IA .

Was this article helpful?
YesNo
Generic placeholder image

Dave Andre

Editor

Digital marketing enthusiast by day, nature wanderer by dusk. Dave Andre blends two decades of AI and SaaS expertise into impactful strategies for SMEs. His weekends? Lost in books on tech trends and rejuvenating on scenic trails.

Related Articles

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *