Usuwanie duplikatów linii
Wklej listę z powtórzeniami i usuń duplikaty jednym krokiem. Zachowaj pierwsze wystąpienie każdej linii albo posortuj alfabetycznie po deduplikacji. Idealne przy czyszczeniu eksportów maili, logów serwera, tagów i SKU magazynowych. Przetwarzanie jest lokalne — nic nie jest wysyłane.
Tekst wejściowy
Jak usunąć zduplikowane linie
1. Wklej tekst — jeden element w linii.
2. Wybierz, czy zachować pierwotną kolejność, czy posortować linie po usunięciu duplikatów.
3. Opcjonalnie ignoruj wielkość liter, by „Apple” i „apple” liczyły się jako ta sama linia.
4. Skopiuj oczyszczony wynik.
Przykłady deduplikacji
Czyszczenie listy mailowej
Eksport z 1200 adresami może mieć 340 duplikatów. Po deduplikacji zostaje 860 unikalnych adresów w kolejności pierwszego wystąpienia.
Unikalne adresy IP z logu
Wklej 5000 linii logu i zostaw unikalne IP — szybsze niż sort | uniq w terminalu przy szybkim sprawdzeniu.
Lista tagów na bloga
„seo, marketing, SEO, content, marketing” w osobnych liniach → unikalne tagi: seo, marketing, content (opcja bez rozróżniania wielkości liter łączy SEO i seo).
Kiedy warto usuwać duplikaty linii
• Gdy łączysz eksporty CSV i potrzebujesz unikalnych wartości w jednej kolumnie.
• Gdy czyścisz wklejone listy przed importem do CRM lub arkusza.
• Gdy chcesz unikalne wpisy z outputu komendy bez otwierania terminala.
Kiedy lepiej wybrać coś innego
• Gdy duplikaty obejmują wiele kolumn i wierszy — użyj arkusza kalkulacyjnego lub narzędzia CSV.
• Gdy potrzebujesz dopasowania rozmytego („Jan Kowalski” vs „Jan Kowalski”) — narzędzie porównuje linie znak po znaku.
• Gdy porównujesz dwa pełne dokumenty — użyj porównywarki tekstów.
Dokładne dopasowanie a deduplikacja rozmyta
Narzędzie usuwa linie identyczne znak po znaku (po opcjonalnej normalizacji wielkości liter). Nie połączy „Nowy Jork” z „Nowy Jork, NY” ani maili różniących się kropką w Gmailu. Przed deduplikacją kontaktów znormalizuj format — obetnij spacje, zapisz małymi literami, usuń końcową interpunkcję.
Zachowanie kolejności w pipeline danych
Kolejność pierwszego wystąpienia ma znaczenie, gdy lista odzwierciedla priorytet lub chronologię — np. kolejność rejestracji albo ranking słów kluczowych. Sortowanie po deduplikacji lepiej sprawdza się przy alfabetycznym indeksie kategorii. Wybierz tryb przed skopiowaniem wyniku do kolejnych narzędzi.
Najczęstsze pytania
Czy usuwa puste linie?
Puste linie mogą być traktowane jako duplikaty siebie nawzajem. Włącz opcję trim, jeśli chcesz całkowicie usunąć puste wiersze.
Czy porównanie domyślnie uwzględnia wielkość liter?
Zwykle można to przełączyć. Tryb bez rozróżniania wielkości traktuje „Error” i „error” jako tę samą linię.
Który duplikat zostaje?
Przy zachowaniu kolejności zostaje pierwsze wystąpienie każdej unikalnej linii; późniejsze kopie są usuwane.
Czy obsłuży bardzo duże listy?
Obowiązują limity pamięci przeglądarki, ale dziesiątki tysięcy krótkich linii zwykle działają na nowoczesnym sprzęcie.
Czy modyfikuje oryginalny plik?
Nie. Wklejasz tekst i kopiujesz wynik — pliki na dysku pozostają nietknięte.
Czy dane są wysyłane?
Nie. Deduplikacja odbywa się w całości w przeglądarce.