### 1. `count_ngrams` 函数解析 #### 功能描述 `count_ngrams` 是一个用于计算一元语法（unigrams）和二元语法（bigrams）频率的函数。它接收一组句子，统计出每个单词以及相邻两个单词组合出现的次数。 #### 参数说明 - **sentences**: 这是一个嵌套列表，表示多个已经分词过的句子，其中每个句子本身也是一个单词列表。 #### 实现细节 ```python unigram_counts = Counter() bigram_counts = defaultdict(Counter) ``` - 初始化了一个 `Counter` 类型的对象 `unigram_counts`, 用来记录单个词汇（即一元语法）的数量。 - 创建了一种特殊类型的字典 `bigram_counts` ，其值也是 `Counter` 对象。这将帮助我们追踪给定前缀单词下某个后续单词发生的频次。 接下来的部分循环遍历传入的所有句子及其内部单词： ```python for sentence in sentences: for token in sentence: unigram_counts[token] += 1 ``` 对于每一个句子中的单词(token), 更新一次对应的一元语法计数器(unigram_counts[token])。 然后构建二元语法(bigram)部分: ```python for i in range(len(sentence)-1): prev = sentence[i] curr = sentence[i+1] bigram_counts[prev][curr] += 1 ``` 从索引0到倒数第二个位置迭代整个句子长度减去1的位置, 取连续两个单词分别为前置词(`prev`) 和当前词(`curr`). 然后在相应的双词搭配计数中增加它们配对出现的频度。 最后返回这两个计数值结果： ```python return unigram_counts, bigram_counts ``` --- ### 2. `sentence_prob` 函数解析 #### 功能描述 `sentence_prob` 计算一条新输入句子基于前面训练好的语言模型的概率估计值。采用的是加一平滑(Laplace smoothing)的方式避免零概率事件的发生影响整体计算准确率。 #### 参数解释 - **tokens**: 输入待测的新句子对应的切分成token之后的形式； - **unigram**: 已经提前利用之前提到的那个`count_ngrams`方法生成出来的全局范围内各个单词各自独立存在的总频次情况汇总表; - **bigram**: 同样是由前述步骤产出的一个关于特定前驱单词条件下另一紧随其后的目标单词联合分布规律的知识库映射关系图谱； - **V**: 整体语料库里面独一无二的不同种类词语总数目(Vocabulary size). #### 主要逻辑展示 初始化变量prob等于浮点类型数字“1”作为初始乘积因子准备开始累积相乘操作直到完整遍历整句话为止: ```python prob = 1.0 ``` 进入核心循环阶段逐一考察除去起始标志位外剩余各成分之间相互关联程度所贡献的具体比列权重比例： ```python for i in range(1, len(tokens)): prev = tokens[i-1] curr = tokens[i] # 获取bigram count C(w_i | w_{i-1}) count_bigram = bigram[prev].get(curr, 0) # 获取unigram count C(w_{i-1}) count_prev = unigram.get(prev, 0) prob *= (count_bigram + 1) / (count_prev + V) ``` 在这里，我们依次取得每一对相连的单词，并查找他们在历史统计数据里的相应值进行插补运算，以此估算出该片段按照我们的简单假设理论应该具有的可能性大小。 最终输出整个句子依照设定规则评估所得的整体似然得分: ```python return prob ```