预测Teddy这个人名,显然知道单词前与单词后的信息有助于预测。然后此RNN结构不可以,需要借助Bidirectional RNN(BRNN)
语言模型就是估计有Y序列的概率
语句标记,包括句子完成符EOS或者句号是否标记以及特殊单词标记标记为UNK。
优点:
能够预测句子的任意位置
缺点:
需要完整的序列数据,语音识别中需要说话人说完,才可以识别,无法实时识别。
Deep RNN example
预测Teddy这个人名,显然知道单词前与单词后的信息有助于预测。然后此RNN结构不可以,需要借助Bidirectional RNN(BRNN)
语言模型就是估计有Y序列的概率
语句标记,包括句子完成符EOS或者句号是否标记以及特殊单词标记标记为UNK。
优点:
能够预测句子的任意位置
缺点:
需要完整的序列数据,语音识别中需要说话人说完,才可以识别,无法实时识别。
Deep RNN example