重複行の削除

繰り返す項目のあるリストを貼り付け、1ステップで重複を除きます。各行の最初の出現を残すか、重複削除後にアルファベット順に並べます。

重複行の削除方法

1. テキストを貼ります——1行に1項目。
2. 元の順序を保つか、重複削除後に行を並べ替えるかを選びます。
3. 任意で大文字小文字を無視し、"Apple" と "apple" を同じ行として数えます。
4. きれいにした出力をコピーします。

重複削除の例

メールリストの整理

1,200行のメーリングリストエクスポートに340件の重複があることがあります。重複削除後、先に出た順で860件の一意アドレスが残ります。

サーバーログの一意IP

5,000行のログを貼り、一意のIPアドレスを1行1件で残します——素早い確認ならターミナルの sort | uniq より速いです。

ブログのタグリスト

"seo, marketing, SEO, content, marketing" を行に分ける → 一意タグ: seo, marketing, content(大文字小文字無視オプションはSEOとseoをまとめます)。

重複行削除を使うとき

CSVエクスポートをマージし、1列の一意値が必要なとき。
CRMやスプレッドシートに取り込む前に、貼り付けリストをきれいにするとき。
ターミナルを開かず、コマンド出力から一意の項目が欲しいとき。

完全一致とあいまいな重複削除

このツールは(任意のケース正規化の後)文字どおり同一の行を削除します。"New York" と "New York, NY"、Gmailでドットが違うメールはまとめません。連絡先の重複削除では、まず形式を正規化——空白をトリム、メールを小文字、末尾の句読点を除去——してから重複削除を実行します。

よくある質問

空行も削除しますか?

空行は互いの重複として扱えます。ツールが空行の完全除去をサポートするなら、トリムオプションを有効にします。

比較は初期設定で大文字小文字を区別しますか?

通常は大文字小文字の区別を切り替えられます。区別しないモードでは "Error" と "error" を同じ行として扱います。

どの重複が残りますか?

順序を保つ場合、各一意行の最初の出現が残り、後のコピーは削除されます。

とても大きなリストも扱えますか?

ブラウザのメモリ制限がありますが、短い行が数万件でも現代の端末では通常問題ありません。

元のファイルは変更されますか?

されません。テキストを貼って結果をコピーするだけで、ディスク上のソースファイルには触れません。