「⾼高」这种字形相同，编码却不同的汉字应该如何匹配？

This topic created in 3871 days ago, the information mentioned may be changed or developed.

遇到一篇文稿，里面出现了很多重复汉字，如「⾼高」、「⽓气」、「⽀支」等等，通篇各处随机分布。文章无法阅读不说，也无法统计字数了（这个正是我想做的）。

原本想用正则去重（via http://www.zhihu.com/question/20805225 ），结果发现匹配不上。转换成字符编码一看，发现这些重复汉字根本不是同一个字符，只是字形相同（工具 https://r12a.github.io/apps/conversion/ ）。

实在想不出辙儿了，请教一下大家该如何处理？先行谢过了！

⾼高

汉字

字形

编码

3 replies • 2015-11-16 13:09:29 +08:00