Remover linhas duplicadas
Colar uma lista com entradas repetidas e remover duplicatas em uma única etapa. Mantenha a primeira ocorrência de cada linha ou classifique em ordem alfabética após a desduplicação. Ideal para limpar e-mails exportados, logs de servidor, listas de tags e SKUs de inventário. O processamento permanece local - nada é carregado.
Texto de entrada
Como remover linhas duplicadas
1. Cole seu texto - um item por linha.
2. Escolha se quer preservar a ordem original ou classificar as linhas após remover duplicatas.
3. Opcionalmente, ignore maiúsculas e minúsculas para que "Apple" e "apple" contem como o mesmo linha.
4. Copie a saída limpa.
Exemplos de desduplicação
Limpeza de lista de e-mail
Uma exportação de lista de e-mail com 1.200 linhas pode conter 340 duplicatas. Após a desduplicação, 860 endereços exclusivos permanecem na ordem em que foram vistos pela primeira vez.
IPs exclusivos de log do servidor
Cole 5.000 linhas de log e mantenha endereços IP exclusivos, um por linha - mais rápido que classificar | uniq em um terminal para uma verificação rápida.
Lista de tags para um blog
"seo, marketing, SEO, conteúdo, marketing" dividida por linha → tags exclusivas: seo, marketing, conteúdo (a opção que não diferencia maiúsculas de minúsculas mescla SEO e seo).
Quando usar a remoção de linha duplicada
• Quando você mescla exportações CSV e precisa de valores exclusivos em uma coluna.
• Quando você limpa listas coladas antes importando para um CRM ou planilha.
• Quando você quer entradas exclusivas da saída do comando sem abrir um terminal.
Quando escolher outra coisa
• Quando as duplicatas abrangem várias colunas e linhas - use um software de planilha ou uma ferramenta CSV.
• Quando você precisar de correspondência difusa ("Jon Smith" vs "John Smith") - esta ferramenta corresponde às linhas exatas somente.
• Quando você precisar comparar dois documentos completos - use a ferramenta de comparação de texto.
Correspondência exata versus desduplicação difusa
Essa ferramenta remove linhas idênticas caractere por caractere (após normalização opcional de maiúsculas e minúsculas). Ele não mesclará “Nova York” e “Nova York, NY” ou e-mails que diferem por um ponto no Gmail. Para desduplicação de contato, normalize os formatos primeiro - corte espaços, e-mails em minúsculas, remova a pontuação final - e depois execute a desduplicação.
Preservação da ordem em pipelines de dados
Manter a ordem vista pela primeira vez é importante quando a lista reflete a prioridade ou a cronologia - por exemplo, ordem de inscrição ou palavras-chave classificadas. A classificação após a eliminação de duplicação é melhor quando você precisa de um índice alfabético de categorias exclusivas. Escolha o modo antes de copiar a saída para ferramentas downstream.
Perguntas frequentes
Ela remove linhas vazias?
Linhas vazias podem ser tratadas como duplicatas uma da outra. Ative as opções de corte se sua ferramenta suportar a remoção total de linhas em branco.
A comparação diferencia maiúsculas de minúsculas por padrão?
Geralmente você pode alternar a distinção entre maiúsculas e minúsculas. O modo sem distinção entre maiúsculas e minúsculas trata "Erro" e "erro" como a mesma linha.
Qual duplicata é mantida?
Ao preservar a ordem, a primeira ocorrência de cada linha exclusiva é mantida; as cópias posteriores são removidas.
Ele consegue lidar com listas muito grandes?
Aplicam-se limites de memória do navegador, mas listas com dezenas de milhares de linhas curtas normalmente funcionam bem em dispositivos modernos.
Ele modifica meu arquivo original?
Não. Você cola o texto e copia o resultado – os arquivos de origem no disco nunca são tocados.
Os dados são carregados?
Não. A desduplicação é executada inteiramente em seu navegador.