51Testing软件测试论坛

 找回密码
 (注-册)加入51Testing

QQ登录

只需一步,快速开始

微信登录,快人一步

查看: 1071|回复: 0
打印 上一主题 下一主题

[原创] Java 数据结构与算法中的字典树

[复制链接]
  • TA的每日心情
    无聊
    昨天 09:19
  • 签到天数: 933 天

    连续签到: 5 天

    [LV.10]测试总司令

    跳转到指定楼层
    1#
    发表于 2022-9-28 10:24:30 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
     一、前言
      Trie 的历史
      字典树 Trie 这个词来自于 retrieval,于 1912 年,Axel Thue 首次抽象地描述了一组字符串数据结构的存放方式为 Trie 的想法。这个想法于 1960 年由 Edward Fredkin 独立描述,并创造了 Trie 一词。你看看,多少程序员为了一个词、方法名、属性名,想破脑袋!
      二、字典树数据结构
      在计算机科学中,字典树(Trie)也被称为”单词查找树“或”数字树“,有时候也被称为基数树或前缀树(因为可以通过前缀的方式进行索引)。—— 它是一种搜索树,一种已排序的数据结构,通常用于存储动态集或键为字符串的关联数组。
      与二叉查找树不同,键不是直接保存在节点中,而是由节点在树中的位置决定。一个节点的所有子孙都有相同的前缀,也就是这个节点对应的字符串,而根节点对应空字符串。一般情况下,不是所有的节点都有对应的值,只有叶子节点和部分内部节点所对应的键才有相关的值。

    这是一个把 battle 单词字符串,按照字母拆分到字典树进行存放的图。
      键标注在节点中,值标注在节点之下。每一个完整的英文单词对应一个特定的整数。也就是26个字母对应的 ASCII 转换后的值。
      三、字典树结构实现
      字典树字母的存放有26个,也就是说在实现的过程中,每一个节点的分支都有26个槽位用来存放可能出现的字母组合。同理如果是数字树的话就是10个数字的组合,每个字典树上的节点对应的分支则有10个操作存放可能出现组合的数字。
      接下来我们就基于 Java 语言实现一个字典树的存放和遍历索引的功能。
      源码地址:https://github.com/fuzhengwei/java-algorithms
      本章源码:https://github.com/fuzhengwei/ja ... src/main/java/stack
      1. 树枝节点

    1. <font size="3">public class TrieNode {

    2.       /** 形成一个链 */

    3.       public TrieNode[] slot = new TrieNode[26];

    4.       /** 字母 */

    5.       public char c;

    6.       /** 单词:数量 > 0 表示一个单词 */

    7.       public boolean isWord;

    8.       /** 前缀 */

    9.       public int prefix;

    10.       /** 单词:具体的一个单词字符串 */

    11.       public String word;

    12.       /** 解释:单词的注释说明 */

    13.       public String explain;

    14.   }</font>
    复制代码
    字典的树的节点需要包括此节点内嵌的关联节点,之后是节点的字母、到此字母是否为单词、单词的前缀、单词字符串和当前单词的非必要注释。
     2. 插入元素

    1. <font size="3">public void insert(String words, String explain) {

    2.       TrieNode root = wordsTree;

    3.       char[] chars = words.toCharArray();

    4.       for (char c : chars) {

    5.           int idx = c - 'a'; // - a 从 0 开始,参考 ASCII 码表

    6.           if (root.slot[idx] == null) {

    7.               root.slot[idx] = new TrieNode();

    8.           }

    9.           root = root.slot[idx];

    10.           root.c = c;

    11.           root.prefix++;

    12.       }

    13.       root.explain = explain; // 单词的注释说明信息

    14.       root.isWord = true;     // 循环拆解单词后标记

    15.   }</font>
    复制代码
    insert 方法接收单词和注释信息,并对一个单词按照 char 进行拆分,拆分后则计算出索引位置并以此存放。存放完成后标记单词和附属上单词的注释信息。
      3. 索引元素


    1. <font size="3">public List<String> searchPrefix(String prefix) {

    2.       TrieNode root = wordsTree;

    3.       char[] chars = prefix.toCharArray();

    4.       StringBuilder cache = new StringBuilder();

    5.       // 精准匹配:根据前置精准查找

    6.       for (char c : chars) {

    7.           int idx = c - 'a';

    8.           // 匹配为空

    9.           if (idx > root.slot.length || idx < 0 || root.slot[idx] == null) {

    10.               return Collections.emptyList();

    11.           }

    12.           cache.append(c);

    13.           root = root.slot[idx];

    14.       }

    15.       // 模糊匹配:根据前缀的最后一个单词,递归遍历所有的单词

    16.       ArrayList<String> list = new ArrayList<>();

    17.       if (root.prefix != 0) {

    18.           for (int i = 0; i < root.slot.length; i++) {

    19.               if (root.slot[i] != null) {

    20.                   char c = (char) (i + 'a');

    21.                   collect(root.slot[i], String.valueOf(cache) + c, list, 15);

    22.                   if (list.size() >= 15) {

    23.                       return list;

    24.                   }

    25.               }

    26.           }

    27.       }

    28.       return list;

    29.   }

    30.   protected void collect(TrieNode trieNode, String pre, List<String> queue, int resultLimit) {

    31.       // 找到单词

    32.       if (trieNode.isWord) {

    33.           trieNode.word = pre;

    34.           // 保存检索到的单词到 queue

    35.           queue.add(trieNode.word + " -> " + trieNode.explain);

    36.           if (queue.size() >= resultLimit) {

    37.               return;

    38.           }

    39.       }

    40.       // 递归调用,查找单词

    41.       for (int i = 0; i < trieNode.slot.length; i++) {

    42.           char c = (char) ('a' + i);

    43.           if (trieNode.slot[i] != null) {

    44.               collect(trieNode.slot[i], pre + c, queue, resultLimit);

    45.           }

    46.       }

    47.   }</font>
    复制代码
    从字典树从检索元素的过程分为2部分,第1部分是根据提供的索引前缀精准匹配到单词信息,第2部分是根据索引前缀的最后一个单词开始,循环递归遍历从当前位置所能关联到的字母直至判断为是单词标记为结束,通过这样的方式把所有匹配动的单词索引出来。
      list.size() >= 15 是判定索引的最大长度,超过这个数量就停止索引了,毕竟这是一种O(n)时间复杂度的操作,如果加载数十万单词进行匹配,执行速度还是比较耗时的。
      四、字典树功能测试

    1. <font size="3">@Test

    2.   public void test_trie() {

    3.       Trie trie = new Trie();

    4.       // 存入

    5.       trie.insert("bat","大厂");

    6.       trie.insert("batch", "批量");

    7.       trie.insert("bitch", "彪子");

    8.       trie.insert("battle", "战斗");

    9.       logger.info(trie.toString());

    10.       // 检索

    11.       List<String> trieNodes = trie.searchPrefix("ba");

    12.       logger.info("测试结果:{}", JSON.toJSONString(trieNodes));

    13.   }</font>
    复制代码
    这里提供一些有相近字母的单词和名词,用于测试。你也可以尝试读取txt文件,检索存入数十万单词进行检索验证。
      测试结果

    1. <font size="3"> 06:21:38.226 [main] INFO trie.__test__.TrieTest - 测试结果:["bat -> 大厂","batch -> 批量","battle -> 战斗"]

    2.   Process finished with exit code 0</font>
    复制代码
    通过测试结果可以看到,把所有以ba开头的单词全部检索出来了。这也是字典树最核心功能的体现。
      读者在学习的过程中,可以尝试在检索的方法体内打一些断点看一下具体的执行过程,方便学习整个执行步骤。


    本帖子中包含更多资源

    您需要 登录 才可以下载或查看,没有帐号?(注-册)加入51Testing

    x
    分享到:  QQ好友和群QQ好友和群 QQ空间QQ空间 腾讯微博腾讯微博 腾讯朋友腾讯朋友
    收藏收藏
    回复

    使用道具 举报

    本版积分规则

    关闭

    站长推荐上一条 /1 下一条

    小黑屋|手机版|Archiver|51Testing软件测试网 ( 沪ICP备05003035号 关于我们

    GMT+8, 2024-4-20 13:44 , Processed in 0.067230 second(s), 23 queries .

    Powered by Discuz! X3.2

    © 2001-2024 Comsenz Inc.

    快速回复 返回顶部 返回列表