文本去重先定规则：空格、大小写与保留顺序

看起来一样，不一定应该合并

去重前先写出“相同”的定义。清理普通标签时，首尾空格可能只是粘贴噪声；核对代码、密码片段或严格标识符时，空格和大小写都可能有意义。不能因为去重后的行数更少，就认为清理效果更好。保留原文副本，并确认每一行是否真的对应一个独立项目。

理序的行去重适合名单条目、标签和一行一个值的文本。CSV 记录可能包含字段内换行，不应直接送入行去重。需要按某列或整条记录去重的表格，应先正确解析结构，再选择明确的键。

用五行小样比较三种结果

alpha
Alpha
alpha 
beta
alpha

这里第三行在末尾有一个空格。精确比较时，第一行和第五行重复，前四行应保留。只忽略首尾空格时，第三行也与第一行重复，但第二行仍不同。再忽略大小写时，前三种 alpha 写法会合并。处理正式内容前，先用这组小样确认你理解开关的含义。

输出显示可能看不出末尾空格，因此不要只凭肉眼比较。记录选择的规则和输出数量，再抽查有空格的值。对业务标识符，只有确认大小写不参与区分，才启用忽略大小写。

去首尾空白不等于删除所有空白

首尾空白处理通常只影响一行开头和结尾，不会把中间的空格全部删掉。项目 A 与 项目A 依然是两个不同字符串。中间连续两个空格是否要合并，也是另一项内容转换，应单独决定并保存规则。

JavaScript 的 trim() 会移除两端定义范围内的空白字符，但“不可见字符”并不是一种统一类别。有些看不见的字符不在该范围内。不要因此不断扩大清理规则；先检查具体字符，再判断它是噪声还是数据。理序工具开启“去首尾空白”时，会同时修剪比较值与输出行；关闭该项时则保留原行两端的空白。

空行和只含空白的行分开考虑

真正的空行没有字符，只含空格或制表符的行则有内容。开启去首尾空白后，后者可能变成空字符串。你可以选择移除这些空项目，也可以保留一个空项目，但应确认工具的行为。对逐行列表，空行常是排版；对成组记录，空行却可能承担分组功能。

本工具把末尾的一次换行视为上一行的结束，不额外计入一行；末尾连续两次换行则仍包含一个空行。核对统计时，应按这一口径比较输入与输出，避免把正常的结尾换行当成丢失记录。若空行具有分组意义，先逐组处理，而不是对整段文本全局去重。

保留第一次出现的位置，便于回查

去重与排序是两种不同操作。保留第一次出现顺序，能让输出更接近原始列表，也便于按上下文追溯。若先排序再去重，原来的优先级或时间顺序就可能消失。列表用于待办事项时，重复项也可能表示两次独立任务，不应轻易合并。

还有一种少见差异：某些字符可以用不同 Unicode 序列表示，外观相近，精确比较却不相等。Unicode 规范化是额外的转换；本工具的行去重不执行规范化，因此这种字符仍可能保留为不同项目。涉及多语言人名时，保留原拼写并人工核对，比直接使用激进的兼容性转换更稳妥。

记录规则，抽查被合并的边界

正式处理前保存原文，先运行精确去重；再逐项开启你确实需要的选项，比较每一步数量变化。若打开“忽略大小写”后突然减少很多行，抽查大写与小写是否确实等价。任何不确定的转换都可以撤回原文重新处理，而不必从结果反推原始列表。

输出后检查第一行、最后一行、空行策略及几个差异样本。交付时附一句说明，例如“忽略首尾空白、区分大小写、保留首次顺序、移除空行”。不要只交付一个“已清理”的文件名。规则明确后，下一批文本才能得到可比较的结果。