Tutti gli strumenti

Rimuovi le righe duplicate

Paste a list with repeated entries and strip duplicates in one step. Keep the first occurrence of each line or sort alphabetically after deduplication. Ideal for cleaning exported emails, server logs, tag lists, and inventory SKUs. Processing stays local — nothing is uploaded.
Testo di input

How to remove duplicate lines

1. Paste your text — one item per line.
2. Choose whether to preserve original order or sort lines after removing duplicates.
3. Optionally ignore case so "Apple" and "apple" count as the same line.
4. Copy the cleaned output.

Esempi di deduplicazione

Pulizia dell'elenco e-mail

Un'esportazione di una mailing list con 1.200 righe può contenere 340 duplicati. Dopo la deduplicazione, 860 indirizzi univoci rimangono nell'ordine in cui sono stati visualizzati per primi.

IP univoci del registro del server

Incolla 5.000 righe di registro e mantieni indirizzi IP univoci uno per riga: più velocemente dell'ordinamento | uniq in un terminale per un controllo rapido.

Elenco dei tag per un blog

"seo, marketing, SEO, contenuti, marketing" suddiviso per riga → tag univoci: seo, marketing, contenuti (l'opzione senza distinzione tra maiuscole e minuscole unisce SEO e seo).

Quando usa la rimozione delle righe duplicate

Quando unisci le esportazioni CSV e hai bisogno di valori univoci in una colonna.
Quando pulisci gli elenchi incollati prima di importarli in un CRM o in un foglio di calcolo.
Quando desideri voci univoche dall'output del comando senza aprire un terminale.

Quando scegliere altro

Quando i duplicati si estendono su più colonne e righe, utilizza un software per fogli di calcolo o uno strumento CSV.
Quando hai bisogno di una corrispondenza fuzzy ("Jon Smith" vs "John Smith") — questo strumento corrisponde solo alle linee esatte.
Quando devi confrontare due documenti interi, utilizza lo strumento di confronto testo.

Corrispondenza esatta vs deduplicazione fuzzy

Questo strumento rimuove le righe identiche carattere per carattere (dopo la normalizzazione facoltativa del caso). Non unirà "New York" e "New York, NY" o le email che differiscono per un punto in Gmail. Per la deduplicazione dei contatti, normalizza prima i formati (taglia gli spazi, le email in minuscolo, rimuovi la punteggiatura finale), quindi esegui la deduplicazione.

Conservazione dell'ordine nelle pipeline di dati

Mantenere l'ordine di prima visualizzazione è importante quando l'elenco riflette la priorità o la cronologia, ad es. ordine di registrazione o parole chiave classificate. L'ordinamento dopo la deduplicazione è preferibile quando è necessario un indice alfabetico di categorie univoche. Scegli la modalità prima di copiare l'output negli strumenti downstream.

Domande frequenti

Rimuove le righe vuote?

Le righe vuote possono essere trattate come duplicati l'una dell'altra. Abilita le opzioni di taglio se il tuo strumento supporta l'eliminazione completa delle linee vuote.

Il confronto fa distinzione tra maiuscole e minuscole per impostazione predefinita?

Di solito è possibile attivare la distinzione tra maiuscole e minuscole. La modalità senza distinzione tra maiuscole e minuscole considera "Errore" ed "errore" come la stessa riga.

Quale duplicato viene conservato?

Quando si preserva l'ordine, viene mantenuta la prima occorrenza di ciascuna riga univoca; le copie successive vengono rimosse.

Può gestire elenchi molto grandi?

Si applicano limiti di memoria del browser, ma gli elenchi con decine di migliaia di righe brevi in ​​genere funzionano bene sui dispositivi moderni.

Modifica il mio file originale?

No. Incolli il testo e copi il risultato: i file di origine sul disco non vengono mai toccati.

I dati vengono caricati?

No. La deduplicazione viene eseguita interamente nel browser.