piapia123
zh

重复行处理

文本

所有处理都在浏览器本地完成,数据不上传服务器

输入
把文件拖到这里可直接载入
输出

四种输出对应四个问题:去重后的列表(有哪些不重复的内容)、只留出现多次的行(哪些内容重复了)、只留唯一行(哪些只出现过一次)、每个重复行加次数(各重复了几次)。判据是整行相等;从 Windows 程序粘贴进来的文本换行是 `\r\n`,工具会先把行尾的 `\r` 处理掉,否则最后一行会被误判成不重复。空行算不算「重复」做成了开关,默认不丢。全程在浏览器本地完成,内容不上传、不联网。

功能

  • 四种输出:去重列表、只看重复行、只看唯一行、重复行加次数
  • 整行相等才判重,且正确处理 Windows 粘贴的 \r
  • 忽略大小写 / 忽略首尾空白,可单独控制
  • 可排序,也可保留首次(或末次)出现的顺序
  • 空行是否算作一行做成开关,默认不丢
  • 「统计次数」把次数写在行首,便于粘进表格排序
  • 给出一共多少行、去重后多少行、重复了多少行
  • 全程在浏览器本地完成,内容不上传

使用方法

  1. 粘贴要处理的多行文本
  2. 选输出方式(去重 / 只看重复 / 只看唯一 / 重复行加次数)
  3. 按需勾选忽略大小写、忽略首尾空白、排序等选项
  4. 结果实时更新,点「复制」取走

常见问题

从 Windows 复制过来的文本会算错吗?
不会。记事本、Excel 这类程序复制出来的换行是 `\r\n`,如果只按 `\n` 切行又不处理行尾的 `\r`,最后一行就会与前面的同内容行「不相等」。工具会先去掉行尾的 `\r`,所以判重是正确的。
空行会被算成「重复」吗?
默认会 —— 因为「不悄悄丢掉用户的输入」更安全。如果你的文本里成片是空行、不想让它们干扰统计,取消勾选「空行也算一行」即可。
「统计次数」为什么把次数写在前面?
写成 `3 × 内容` 之后,你把结果粘进表格并按第一列排序,就直接得到一张频次表,不用再手工调列序。
忽略大小写时,留下的是哪种写法?
留下第一次出现的原文,不会把它改成小写。忽略大小写只用于判断「这两行算不算重复」,不改变内容。

相关工具