Entfernen Sie doppelte Zeilen
Fügen Sie eine Liste mit wiederholten Einträgen ein und entfernen Sie Duplikate in einem Schritt. Behalten Sie das erste Vorkommen jeder Zeile bei oder sortieren Sie nach der Deduplizierung alphabetisch.
So entfernen Sie doppelte Zeilen
1. Fügen Sie deinen Text ein — ein Element pro Zeile.
2. Wähle, ob die ursprüngliche Reihenfolge beibehalten oder die Zeilen nach dem Entfernen von Duplikaten sortiert werden sollen.
3. Ignorieren Sie optional die Groß- und Kleinschreibung, sodass „Apple“ und „apple“ als dieselbe Zeile gelten.
4. Kopiere die bereinigte Ausgabe.
Beispiele für Deduplizierung
Bereinigung der E-Mail-Liste
Ein Mailinglisten-Export mit 1.200 Zeilen kann 340 Duplikate enthalten. Nach der Deduplizierung verbleiben 860 eindeutige Adressen in der zuerst angezeigten Reihenfolge.
Eindeutige IPs des Serverprotokolls
Fügen Sie 5.000 Protokollzeilen ein und behalten Sie eine eindeutige IP-Adresse pro Zeile bei — schneller als Sortieren | uniq in einem Terminal für eine schnelle Überprüfung.
Tag-Liste für einen Blog
„seo, marketing, SEO, content, marketing“, aufgeteilt nach Zeile → eindeutige Tags: seo, marketing, content (Option ohne Berücksichtigung der Groß- und Kleinschreibung führt SEO und SEO zusammen).
Wann sollte die Entfernung doppelter Zeilen verwendet werden?
• Wenn du CSV-Exporte zusammenführen und eindeutige Werte in einer Spalte benötigen.
• Wenn du eingefügte Listen bereinigen, bevor Sie sie in ein CRM oder eine Tabellenkalkulation importieren.
• Wenn du eindeutige Einträge aus der Befehlsausgabe wünschen, ohne ein Terminal zu öffnen.
Exakte Übereinstimmung vs. Fuzzy-Deduplizierung
Dieses Tool entfernt Zeilen, die Zeichen für Zeichen identisch sind (nach optionaler Groß-/Kleinschreibung). „New York“ und „New York, NY“ oder E-Mails, die sich in Gmail durch einen Punkt unterscheiden, werden nicht zusammengeführt. Normalisieren Sie für die Deduplizierung von Kontakten zunächst die Formate — kürzen Sie Leerzeichen, schreiben Sie E-Mails in Kleinbuchstaben, entfernen Sie nachgestellte Satzzeichen — und führen Sie dann die Deduplizierung durch.
Häufige Fragen
Entfernt es leere Zeilen?
Leere Zeilen können als Duplikate voneinander behandelt werden. Aktivieren Sie die Trimmoptionen, wenn dein Tool das vollständige Entfernen leerer Zeilen unterstützt.
Wird beim Vergleich standardmäßig die Groß-/Kleinschreibung beachtet?
Normalerweise können Sie die Groß-/Kleinschreibung umschalten. Der Modus ohne Berücksichtigung der Groß- und Kleinschreibung behandelt „Error“ und „error“ als dieselbe Zeile.
Welches Duplikat wird aufbewahrt?
Bei der Beibehaltung der Reihenfolge wird das erste Vorkommen jeder eindeutigen Zeile beibehalten; spätere Kopien werden entfernt.
Kann es mit sehr großen Listen umgehen?
Es gelten Browser-Speicherbeschränkungen, aber Listen mit Zehntausenden kurzen Zeilen funktionieren auf modernen Geräten normalerweise einwandfrei.
Ändert es meine Originaldatei?
Nein. Sie fügen Text ein und kopieren das Ergebnis — Quelldateien auf der Festplatte werden nie verändert.