自然语言处理入门——文本预处理
自然语言处理入门内容大纲:文本预处理经典序列模型RNN及其变体Transformer迁移学习文本预处理认识文本预处理作用:文本语料在输送给模型前一般需要一系列的预处理工作,才能符合模型输入要求,如将文本转换成模型需要的张量、规范张量的尺寸等。而且科学的文本预处理环节还将有效知道模型超参数的选择,提高模型的评估指标。文本预处理中包含的主要环节:文本处理的基本方法分词词性标注命名实体识别文本张量表示方法one-hot编码Word2vecWord E