重複行の削除
繰り返す項目のあるリストを貼り付け、1ステップで重複を除きます。各行の最初の出現を残すか、重複削除後にアルファベット順に並べます。
重複行の削除方法
1. テキストを貼ります——1行に1項目。
2. 元の順序を保つか、重複削除後に行を並べ替えるかを選びます。
3. 任意で大文字小文字を無視し、"Apple" と "apple" を同じ行として数えます。
4. きれいにした出力をコピーします。
重複削除の例
メールリストの整理
1,200行のメーリングリストエクスポートに340件の重複があることがあります。重複削除後、先に出た順で860件の一意アドレスが残ります。
サーバーログの一意IP
5,000行のログを貼り、一意のIPアドレスを1行1件で残します——素早い確認ならターミナルの sort | uniq より速いです。
ブログのタグリスト
"seo, marketing, SEO, content, marketing" を行に分ける → 一意タグ: seo, marketing, content(大文字小文字無視オプションはSEOとseoをまとめます)。
重複行削除を使うとき
• CSVエクスポートをマージし、1列の一意値が必要なとき。
• CRMやスプレッドシートに取り込む前に、貼り付けリストをきれいにするとき。
• ターミナルを開かず、コマンド出力から一意の項目が欲しいとき。
完全一致とあいまいな重複削除
このツールは(任意のケース正規化の後)文字どおり同一の行を削除します。"New York" と "New York, NY"、Gmailでドットが違うメールはまとめません。連絡先の重複削除では、まず形式を正規化——空白をトリム、メールを小文字、末尾の句読点を除去——してから重複削除を実行します。
よくある質問
空行も削除しますか?
空行は互いの重複として扱えます。ツールが空行の完全除去をサポートするなら、トリムオプションを有効にします。
比較は初期設定で大文字小文字を区別しますか?
通常は大文字小文字の区別を切り替えられます。区別しないモードでは "Error" と "error" を同じ行として扱います。
どの重複が残りますか?
順序を保つ場合、各一意行の最初の出現が残り、後のコピーは削除されます。
とても大きなリストも扱えますか?
ブラウザのメモリ制限がありますが、短い行が数万件でも現代の端末では通常問題ありません。
元のファイルは変更されますか?
されません。テキストを貼って結果をコピーするだけで、ディスク上のソースファイルには触れません。