关键词密度分析
文本所有处理都在浏览器本地完成,数据不上传服务器
输入
把文件拖到这里可直接载入
输出
看一篇文章里哪些词反复出现:每个词的次数与占比(按总词数算,不是按字符数),并给出总词数、去重词数与字符数。可以过滤中英常用停用词(`的` `the` 这类)、设置最小词长、只展示前几名。中文没有空格,这里不做真正的分词 —— 它按相邻两个字组成一个词块(二元组)来统计,比如 `在线工具箱` 会拆成 `在线` `线工` `工具` `具箱`。所以结果里会出现 `线工` 这种不是词的组合,这是方法本身的特性,不是 bug;单字统计则被 `的` `是` 这类词占满,几乎没有信息量。全程在浏览器本地完成,内容不上传、不联网。
功能
- 按出现次数排序,给出每个词的次数与占比
- 占比按总词数算,不是按字符数
- 内置中英常用停用词表,可一键过滤
- 可设最小词长、只展示前几名
- 可选统计二元词组(中文相邻两字 / 英文相邻两词)
- 语言可选自动 / 中文 / 英文 / 中英混合
- 给出总词数、去重词数与字符数
- 可忽略大小写
- 全程在浏览器本地完成,内容不上传
使用方法
- 粘贴要分析的文章(可多行、可中英混排)
- 选语言(默认自动判断)
- 按需过滤停用词、设最小词长与前几名、开或关二元词组
- 结果实时更新,点「复制」取走
常见问题
- 中文分词准不准?
- 这个工具不做中文分词。 中文没有空格,真正的分词需要词典与统计模型,而这里用的是最省事的常规做法:按相邻两个字组成词块(二元组)。所以 `在线工具箱` 会出现 `线工` 这种不是词的组合 —— 这是方法本身的特性。选它是因为单字统计会被 `的` `是` `在` 这类词占满,几乎没有信息量。要看真正分词后的结果,请用专门的工具。
- 占比是按什么算的?
- 按总词数(全部词块的个数),不是按字符数。一个词占比 = 它出现的次数 ÷ 全部词块的个数。拿字符数当分母会得到一个几乎恒为个位数的百分比,那不是「密度」的意思。
- 停用词过滤会滤掉什么?
- 内置一份中英常用停用词表:英文如 `the` `and` `is`,中文如 `的` `了` `是` `在`。中文二元组里只要含有一个停用字(比如 `的时`)也会被滤掉,因为那类词块几乎全是噪音。可以随时关掉。
- 「二元词组」开关影响什么?
- 中文打开时按相邻两字统计(默认),关掉则退化为单字统计;英文打开时会额外把相邻两个词组成 `word1 word2` 的词对一起统计。
相关工具
字数统计
文本中英混排的文本到底有多长?中文按字、英文按词分开统计,给出字符数、行数、字节数、阅读与朗读时长,以及会被切成几条短信。全部在本机完成。
出现次数统计
文本统计字符、词、行或指定字符串各出现多少次,按次数排序并给出占比,空格与换行会标出符号。
文本体检
文本找出文本里看不见的零宽字符、BOM、同形异码字符,并报出规范化形式、行尾类型与四种字数统计。全部在浏览器本地完成。
文本对比
文本把两份文本逐行对比,高亮标出新增、删除与未改动的行,改动按最小差异对齐,而不是整段标成变了。全部在浏览器本地完成,内容不上传。
文本清洗
文本清洗从日志或表格里复制出来的一列内容:去重行、排序、去空行、去首尾空白、去行号、合并多空格,规则逐条开关。粘贴的内容只在本机处理。
命名风格转换
文本在十四种命名风格之间转换标识符,拆词时认得 fooBarBaz 与 FOO_BAR 这类混写,连续大写也会按词拆开。全部在浏览器本地完成,不上传。