Le traitement de listes de données textuelles brutes nécessite souvent une phase de nettoyage pour éliminer les redondances. L'outil Déduplication de texte permet de filtrer une liste d'éléments afin de ne conserver qu'une seule occurrence de chaque ligne. Ce processus s'effectue directement lors de la saisie ou du collage du texte, offrant un retour visuel immédiat sur la structure des données.
Fonctionnement et critères de correspondance exacte
La déduplication repose sur une comparaison stricte des chaînes de caractères. Pour qu'une ligne soit considérée comme un doublon, elle doit correspondre exactement à une ligne précédente, caractère par caractère.
- Sensibilité à la casse: Les majuscules et les minuscules sont différenciées. Par exemple, « Pomme » et « pomme » sont traités comme deux éléments uniques distincts.
- Espaces et caractères invisibles: Les espaces en début ou en fin de ligne, ainsi que les tabulations, modifient la chaîne de caractères. Une ligne contenant « banane » et une autre contenant « banane » (avec un espace final) ne seront pas considérées comme des doublons.
- Lignes vides: Les lignes ne contenant aucun caractère sont soumises à la même règle. Si votre liste comporte plusieurs lignes vides, seule la première occurrence est conservée, et toutes les lignes vides subséquentes sont éliminées.
Préservation de l'ordre d'apparition
Contrairement aux algorithmes de tri qui réorganisent les données par ordre alphabétique ou numérique, cet outil préserve l'ordre initial de vos éléments. Le principe appliqué est celui de la « première occurrence ».
Lorsqu'une ligne apparaît pour la première fois dans la liste, elle conserve sa position exacte. Si cette même ligne se répète plus bas dans le document, ces répétitions ultérieures sont supprimées. Cette approche est essentielle pour les listes chronologiques, les historiques d'événements ou les inventaires où la séquence d'origine possède une valeur informative.
Limites techniques et gestion des erreurs
Pour garantir la stabilité du traitement dans le navigateur, l'outil applique une limite stricte sur la taille du texte d'entrée:
- Limite de caractères: Le volume maximal autorisé est de 500 000 caractères.
- Dépassement de limite: Si le texte soumis dépasse ce seuil, l'outil bloque le traitement et affiche le message d'erreur: « Ce texte est trop long pour cet outil. Gardez-le sous
{max}caractères. ». Dans ce cas, les compteurs de statistiques affichent la valeur 0. - Échec de traitement: En cas d'anomalie imprévue lors de l'analyse, le message « Impossible de dédupliquer ce texte. » s'affiche.
Interface et indicateurs de performance
L'interface utilisateur présente des indicateurs précis pour suivre l'évolution du nettoyage de vos données. Les statistiques de traitement se divisent en trois mesures distinctes:
- Original: Le nombre total de lignes détectées dans le champ de saisie initial.
- Uniques: Le nombre de lignes uniques conservées après l'élimination des doublons.
- Retirées: Le nombre exact de lignes redondantes qui ont été supprimées.
Selon l'état de vos données, différents messages d'état s'affichent:
- Si le champ d'entrée est vide, l'interface indique « Ajoutez des lignes pour retirer les doublons. ». Les fonctions de copie et l'action « Utiliser le résultat » sont alors désactivées.
- Si des doublons sont détectés et éliminés, le système affiche «
{removed}lignes en double retirées;{unique}sur{total}conservées. ». - Si le texte ne contient aucune répétition, le message « Aucune ligne en double trouvée.
{unique}lignes conservées. » confirme la propreté de la liste. - L'action d'effacement via le bouton « Effacer » réinitialise les champs et affiche « Effacé. », remettant tous les compteurs à 0.
- Le chargement du texte d'exemple affiche « Exemple nettoyé. », tandis que l'action de transfert du résultat vers le champ d'entrée affiche « Lignes nettoyées replacées en entrée. ».
Confidentialité et traitement local
Le traitement de vos données s'effectue exclusivement du côté client. Lorsque vous collez une liste dans le champ « Lignes », l'analyse et la suppression des doublons sont exécutées localement par le moteur JavaScript de votre propre navigateur web. Aucune donnée textuelle, liste d'éléments ou information personnelle n'est téléversée vers les serveurs de BroBroGo.
Foire aux questions
Qu’est-ce qu’une ligne en double? Deux lignes doivent être identiques, espaces et majuscules compris. La première reste, les suivantes sont retirées.
L’ordre original est-il conservé? Oui. Le résultat suit la première apparition de chaque ligne, donc votre liste garde son ordre après suppression des doublons.
Que deviennent les lignes vides? Les lignes vides sont traitées comme les autres. Si plusieurs se répètent, seule la première ligne vide est conservée.