文本向量化

2024/4/13 4:33:36

我们尝试使用计算机解决文本问题时，首先就是要对文本进行数值化表示，因为深度学习模型只能对数值做计算，不能直接计算文本。文本的数值化或向量化有很多方法，常见的有独热编码、散列编码、TF-IDF算法和词嵌入等。独热编码独热…

大家利用机器学习或深度学习开展文本分类或关联性分析之前，由于计算机只能分析数值型数据，而人类所熟悉的自然语言文字，机器学习算法是一窍不通的，因此需要将大类的文本及前后关系进行设计，并将其转换为数值化表示。一…