在sklearn中的sklearn.feature_extraction.text.Countvectorizer()或者是sklearn.feature_extraction.text.TfidfVectorizer()中其在进行却分token的时候，会默认把长度<2的字符抛弃，例如下面的例子：x=['ilov...

https://github.com/jannson/yaha#-*-coding:utf-8-*-"""CreatedonWedAug1008:35:552016@author:Administrator"""#-*-coding=utf-8-*-importsys,re,codecsimportcProfilefr...

TF的概念是TermFrequent，是一个单词出现的频率，是一个局部概念，就是这个单词在指定文件中出现的频率，公式如下：但是呢，这个TF其实很没有说服力，比如the，a之类的频率很高，但是其实不能实现很好地分类标志，尽管可以在停用词中进行禁用，但是很多单词还是无法全部禁用干净；这个时候就引入了IDF，InverseD...

建立文本数据数学描写叙述的过程分为三个步骤：文本预处理、建立向量空间模型和优化文本向量。文本预处理主要採用分词、停用词过滤等技术将原始的文本字符串转化为词条串或者特点的符号串。文本预处理之后，每个文本的词条串被进一步转换为一个文本向量，向量的每一维相应一个词条，其值反映的是这个词条与这个文本之间的类似度。类似度有非常多...