重複行を排除するテキストクリーニング
テキスト重複削除ツールは、入力されたテキストの行リストから完全に一致する重複行を取り除き、各行が最初に現れた位置のままクリーンなリストを再構築するツールです。データクレンジングやリスト整理において、データの順序を崩さずに一意の項目のみを抽出する処理をブラウザ上で完結させることができます。
重複排除を実行すると、ツールは元の行数、重複のないユニークな行数、および削除された重複行数の統計を即座に算出します。
重複判定の基準と処理ルール
正確なテキスト処理を行うため、本ツールでは以下の厳密なルールに基づいて重複判定および出力の生成を行います。
- 完全一致の基準: スペースの有無や大文字・小文字の違いを含め、すべての文字が完全に一致する行を重複とみなします。
- 最初の出現順の維持: 重複する行が複数存在する場合、最初に出現した行（最も上にある行）が保持され、2回目以降に出現する一致行がすべて削除されます。これにより、データの元の並び順が維持されます。
- 空行の取り扱い: 何も文字が含まれていない空行（ブランク行）も通常のテキスト行と同様に処理されます。入力内に複数の空行が存在する場合、最初に出現した1行目の空行のみが保持され、それ以降の空行は重複として削除されます。
入力制限とエラーハンドリング
本ツールには、ブラウザ上での安定した動作を確保するために以下の制限事項と仕様が設けられています。
- 文字数制限: 入力できるテキストの最大長は 500,000 文字です。この制限を超えた場合、「テキストが長すぎます。
{max}文字未満に抑えてください。」というエラーメッセージが表示され、各行数のカウントは 0 にリセットされます。 - エラー発生時: 何らかの原因で処理が正常に完了しなかった場合は、「このテキストの重複排除処理ができませんでした。」というエラーメッセージが表示されます。
- クリア処理: 入力をクリアすると、入力エリアと出力エリアがともに空になり、オリジナル、重複なし、削除数のカウントはすべて 0 に戻ります。このとき、ステータスには「クリアしました。」と表示されます。
- 操作の制限: 入力エリアが空のとき、結果の「コピー」および「結果を使用する」機能は無効化されます。
処理ステータスと統計表示
テキストの入力状態や処理結果に応じて、以下のステータスメッセージおよび統計情報が表示されます。
統計項目
- オリジナル: 入力された初期状態の総行数。
- 重複なし: 重複排除後に残ったユニークな行数。
- 削除数: 重複として判定され、取り除かれた行数。
ステータスメッセージ一覧
- 重複を削除するには、行を追加してください。: 入力エリアが空のときに表示されます。
{removed}行の重複行を削除し、全{total}行中{unique}行を維持しました。: 重複行が検出され、正常に削除された場合に表示されます。- 重複する行は見つかりませんでした。
{unique}行を維持しました。: 入力されたすべての行がユニークであった場合に表示されます。 - サンプルをクリーンアップしました。: サンプルテキストを読み込んで処理した際に表示されます。
- クリーンアップした行を入力エリアに移動しました。: 出力結果を入力エリアに転送した際に表示されます。
ローカル処理によるプライバシー保護
本ツールに入力されたテキストデータは、すべてお使いのデバイスのブラウザ上でローカルに処理されます。テキストデータが外部のサーバーや BroBroGo にアップロードされることはありません。そのため、外部ネットワークへのデータ送信を行うことなく、手元のブラウザ内だけで安全に重複排除処理を完結させることができます。
よくある質問（FAQ）
どのような行が重複行とみなされますか？ スペースや大文字・小文字を含め、完全に一致する行が重複とみなされます。最初に出現した行が残り、それ以降の一致する行が削除されます。
元の並び順は維持されますか？ はい。各行が最初に出現した順序が維持されるため、重複削除後も元のリストの順序は変わりません。
空行（ブランク行）はどうなりますか？ 空行も他の行と同様に扱われます。複数の空行が連続または重複している場合、最初に出現した位置の1行のみが維持されます。