重复行处理
文本所有处理都在浏览器本地完成,数据不上传服务器
输入
把文件拖到这里可直接载入
输出
四种输出对应四个问题:去重后的列表(有哪些不重复的内容)、只留出现多次的行(哪些内容重复了)、只留唯一行(哪些只出现过一次)、每个重复行加次数(各重复了几次)。判据是整行相等;从 Windows 程序粘贴进来的文本换行是 `\r\n`,工具会先把行尾的 `\r` 处理掉,否则最后一行会被误判成不重复。空行算不算「重复」做成了开关,默认不丢。全程在浏览器本地完成,内容不上传、不联网。
功能
- 四种输出:去重列表、只看重复行、只看唯一行、重复行加次数
- 整行相等才判重,且正确处理 Windows 粘贴的 \r
- 忽略大小写 / 忽略首尾空白,可单独控制
- 可排序,也可保留首次(或末次)出现的顺序
- 空行是否算作一行做成开关,默认不丢
- 「统计次数」把次数写在行首,便于粘进表格排序
- 给出一共多少行、去重后多少行、重复了多少行
- 全程在浏览器本地完成,内容不上传
使用方法
- 粘贴要处理的多行文本
- 选输出方式(去重 / 只看重复 / 只看唯一 / 重复行加次数)
- 按需勾选忽略大小写、忽略首尾空白、排序等选项
- 结果实时更新,点「复制」取走
常见问题
- 从 Windows 复制过来的文本会算错吗?
- 不会。记事本、Excel 这类程序复制出来的换行是 `\r\n`,如果只按 `\n` 切行又不处理行尾的 `\r`,最后一行就会与前面的同内容行「不相等」。工具会先去掉行尾的 `\r`,所以判重是正确的。
- 空行会被算成「重复」吗?
- 默认会 —— 因为「不悄悄丢掉用户的输入」更安全。如果你的文本里成片是空行、不想让它们干扰统计,取消勾选「空行也算一行」即可。
- 「统计次数」为什么把次数写在前面?
- 写成 `3 × 内容` 之后,你把结果粘进表格并按第一列排序,就直接得到一张频次表,不用再手工调列序。
- 忽略大小写时,留下的是哪种写法?
- 留下第一次出现的原文,不会把它改成小写。忽略大小写只用于判断「这两行算不算重复」,不改变内容。
相关工具
出现次数统计
文本统计字符、词、行或指定字符串各出现多少次,按次数排序并给出占比,空格与换行会标出符号。
文本清洗
文本清洗从日志或表格里复制出来的一列内容:去重行、排序、去空行、去首尾空白、去行号、合并多空格,规则逐条开关。粘贴的内容只在本机处理。
多行合并成一行
文本把多行文本合并成一行:换行可换成空格、逗号、分号或直接删掉,空行与首尾空白先处理。适合粘进单行输入框。
文本对比
文本把两份文本逐行对比,高亮标出新增、删除与未改动的行,改动按最小差异对齐,而不是整段标成变了。全部在浏览器本地完成,内容不上传。
字数统计
文本中英混排的文本到底有多长?中文按字、英文按词分开统计,给出字符数、行数、字节数、阅读与朗读时长,以及会被切成几条短信。全部在本机完成。
命名风格转换
文本在十四种命名风格之间转换标识符,拆词时认得 fooBarBaz 与 FOO_BAR 这类混写,连续大写也会按词拆开。全部在浏览器本地完成,不上传。