在线文本去重工具
专业处理超长文本中的重复行，支持正则级精准清理，100% 保护隐私。
📥 原始文本
📤 整理结果
专业处理超长文本中的重复行，支持正则级精准清理，100% 保护隐私。
本工具按行去除重复内容：把左侧原始文本按换行拆分，保留第一次出现的行，输出到右侧只读结果框。选项包括：忽略大小写、去除首尾空格（默认开启）、移除空行（默认开启）、排序输出（默认关闭）。统计区显示原始行数、保留行数、移除重复数、重复率。输入内容会尝试保存到 localStorage.duplicate_remover_content，便于刷新恢复。它适合名单与关键词清洗，不是句内分词去重器。
Apple 与 apple；保留的是首次出现的原始写法。可能有不可见字符、全角空格，或未开启「去除首尾空格/忽略大小写」。先打开 trim 与 ignoreCase 再试。
默认保留首次出现顺序；只有勾选「排序输出」才排序。
输入可写入 duplicate_remover_content；清空时会移除该键。
当前逻辑按换行拆分。请先把逗号替换成换行，再粘贴处理。
去重在本地完成，适合处理含邮箱/手机号等敏感名单草稿。
保留第一次出现的行。后续重复行会被丢弃，不会用后面的版本覆盖前面的写法。
先开「去除首尾空格」和「移除空行」，再视情况开「忽略大小写」。确认唯一行数合理后，如需字母序再开「排序输出」。处理邮箱/手机号时，去重后务必人工抽查前 20 行，防止不可见字符导致漏重。若原始数据是逗号分隔，请先替换为换行再处理，否则整行会被当成一个元素。
名单可能含个人数据。用完后点清空以移除 duplicate_remover_content。公共设备上不要保留客户名单草稿。本工具只做行级唯一化，不会验证邮箱格式是否合法。