Ismétlődő sorok eltávolítása
Ismétlődő bejegyzéseket tartalmazó lista beillesztése és az ismétlődések eltávolítása egy lépésben. Megtartja az egyes sorok első előfordulását, vagy rendezze ábécé sorrendben a deduplikáció után. Ideális az exportált e-mailek, szervernaplók, címkelisták és készlet SKU-k tisztítására. A feldolgozás helyi marad — semmi sem kerül feltöltésre.
Bemeneti szöveg
Az ismétlődő sorok eltávolítása
1. Illessze be a szöveget — soronként egy elemet.
2. Válaszd ki, hogy megőrzi-e az eredeti sorrendet, vagy rendezze a sorokat az ismétlődések eltávolítása után.
3. Opcionálisan hagyja figyelmen kívül a kis- és nagybetűket, így az "Apple" és az "alma" ugyanannak a sornak számít.
4. Másold a megtisztított kimenetet.
Duplikációs példák
E-mail lista tisztítása
Egy 1200 soros levelezőlista-export 340 másolatot tartalmazhat. A deduping eltávolítása után 860 egyedi cím marad az első megtekintés sorrendjében.
A szervernapló egyedi IP-címei
Illesszen be 5000 naplósort, és tartson meg egyedi IP-címeket soronként — gyorsabban, mint a rendezés | uniq egy terminálban a gyors ellenőrzéshez.
Címkelista egy bloghoz
"seo, marketing, SEO, content, marketing" soronkénti bontásban → egyedi címkék: seo, marketing, content (a kis- és nagybetűk megkülönböztetése a SEO-t és a seo-t egyesíti).
Mikor használd ezt az eszközt
• Amikor egyesíti a CSV-exportokat, és egyedi értékekre van szüksége egy oszlopban.
• Amikor megtisztítja a beillesztett listákat, mielőtt CRM-be vagy táblázatba importálja.
• Ha egyedi bejegyzéseket szeretnél a parancskimenetből terminál megnyitása nélkül.
Mikor válassz mást
• Ha a duplikátumok több oszlopra és sorra terjednek ki, használjon táblázatkezelő szoftvert vagy CSV-eszközt.
• Ha homályos egyezésre van szüksége ("Jon Smith" vs "John Smith") — ez az eszköz csak pontos sorokat egyezik meg.
• Ha két teljes dokumentumot kell összehasonlítania, használd a szövegdiff eszközt.
Pontos egyezés vs fuzzy deduplikáció
Ez az eszköz eltávolítja a karakterenként azonos sorokat (a kis- és nagybetűk opcionális normalizálása után). Nem egyesíti a „New York” és a „New York, NY” kifejezéseket, illetve a Gmailben egy ponttal eltérő e-maileket. A névjegyek törléséhez először normalizálja a formátumokat — vágja le a szóközöket, a kisbetűs e-maileket, távolítsa el az utolsó írásjeleket –, majd futtassa a deduplikációt.
Rendelés megőrzése az adatfolyamokban
Az első sorrend megtartása akkor számít, ha a lista prioritást vagy kronológiát tükröz — pl. regisztrációs sorrend vagy rangsorolt kulcsszavak. A dedup utáni rendezés jobb, ha egyedi kategóriák betűrendes indexére van szüksége. Válaszd ki a módot, mielőtt a kimenetet a későbbi eszközökbe másold.
Gyakori kérdések
Eltávolítja az üres sorokat?
Minden másodpéldányként kezelhető. Engedélyezd a vágási beállításokat, ha az eszköze teljesen támogatja az üres sorok eltávolítását.
Az összehasonlítás alapértelmezés szerint megkülönbözteti a kis- és nagybetűket?
Általában válthatja a kis- és nagybetűk érzékenységét. A kis- és nagybetűket megkülönböztető mód a "Hiba" és a "hiba" szót ugyanazon sorként kezeli.
Melyik duplikátum marad meg?
A sorrend megőrzésekor minden egyedi sor első előfordulása megmarad; a későbbi másolatok eltávolításra kerülnek.
Túl nagy listákat képes kezelni?
A böngésző memóriakorlátai érvényesek, de a több tízezer rövid vonalat tartalmazó listák általában jól működnek a modern eszközökön.
Módosítja az eredeti fájlomat?
Nem. Beilleszti a szöveget, és kimásold az eredményt — a lemezen lévő forrásfájlokat soha nem érinti meg.
Feltöltése van az adatoknak?
Nem. A deduplikáció teljes egészében a böngésződben fut.