搜索推荐技术在电商导购领域的应用（三）：自动分类

有一个问题需要解决：自动分类。做好个性化商品推荐，商品整理是第一站。类目，是最为基础的整理。我们需要将每一个商品分到一个具体的类目上去，商品数量庞大，这个过程要自动化，这就是商品自动分类问题。

我们来热热身吧，做几道分类题：

“AppleiPhone6(A1586)16GB金色移动联通电信4G手机”

【第一滴血】so easy，是一个“手机”

“snidel * S家新款王小俊日系蓬蓬裙双层松紧高腰短裙裙裤现货实拍”

【主宰分类】嗯……应该是“半身裙”，这个要分对就需要动一动脑子

“华为 HUAWEI 电源适配器+数据线 5V/2A快充 USB带线充电头”

【分类如麻】这个是“充电器”，来个有点难度的

“福建特产 正宗金冠黑糖话梅糖200g 含上等梅肉 酸甜好滋味”

【无人能挡】这个……是糖果，有没有更变态的

“美利达勇士公爵500 550 600 650 700挑战者350可载人行李架后货架”

【变态分类】 靠关键词联想已经不够了，查资料后知这是一个“自行车配件”，哈哈，还有谁？！

“比iphone还好用的诺基亚手机的手机套”

【已经超神】这……

你看，解决这个问题并没有看上去那么简单，每个商品标题中不会100%包含类目相关信息，怎么破？

分类1.0

我们研发的一代分类技术是比较朴素的，通过对应表+特征库来解决。

对应表是一个简单的配置文件，保存（关键词，分类）的对应关系：

“手机” ——> 手机

“牛仔裤” ——> 牛仔裤

…….

特征词库是对应表的升级版（对应表plus？），维护的是（关键词组合，分类）的对应关系：

“AppleiPhone6” ——> 手机

“棉麻 小脚 长裤 收腰 铅笔裤” ——> 休闲长裤

“美利达 勇士 公爵 行李架 货架” ——> 自行车配件

…….

这一整套样本数据完全由人工整理，分类1.0的程序也很简单，运行起来嘛……，“看上去”很可靠。首先，分类1.0一切的一切都建立在人工数据基础上，只要样本整理的好，分的结果就好，整理的不好就……。其次，人的精力是有限的，如果要大规模标注，就需要维持大规模的运营团队。最后，人没有整理过的商品特征，就没办法分好，bug数量处于失控状态。

随着数据指标的要求提升，数据集的增长，这套系统已经不堪重负。

分类2.0

因此，我们研发了新系统——分类2.0。分类2.0结合商品信息的特征，避免了由于特征库对分类带来的干扰，同时可以保证以较高的效率完成在线分类任务。（分类2.0由我司一枚殿堂级工程师所创作，哎呀，现在回想起来，那一段时光真是令人怀念……）

分类2.0的技术要点

1.使用分词技术对商品标题信息分词处理，使用分词结果作为商品的特征tag，用tag来描述该商品

2.过滤没有意义的tag，保留能够有效描述该商品的tag

3.利用互信息计算训练集数据中，各个分类和该分类中商品所有tag的相关度

4.预测一个新商品的类别时，计算该商品中的所有tag在每个分类中相关度值，使用分类中所有tag相关度值的和作为商品在该分类中的得分

5.得分最高的类别即为该商品的分类

以一个具体的商品处理来说清楚这个流程，：

1.基于商品库对商品进行分词处理&过滤无意义词

如：黑色iphone苹果手机新上市，分词&过滤结果为：iphone，手机，黑色

2.利用互信息计算各分类与其中tag的相关度：

互信息计算公式：

I(x,y) = log(p(x|y))-log(p(x))

其中：

p(x) 代表 x在所有商品中出现的概率

p(x|y)代表x在类别y中出现的条件概率

下表为10个商品的类别及分词结果

计算示例商品在上面的商品集中，手机类的互信息

a)概率计算

p(iphone) = 0.1

p(黑色) = 0.4

p(手机) = 0.2

p(iphone |手机) = 0.25

p(手机|手机) = 0.5

p(黑色|手机) = 0.25

b)互信息计算

I(iphone,手机) = log(p(iphone |手机))-log(p(iphone)) = -1.3863 + 2.3026 = 0.9163

I(手机,手机) = log(p(手机|手机))-log(p(手机)) = -0.6931 + 1.6094 = 0.9163

I(黑色,手机) = log(p(黑色|手机))-log(p(黑色)) = -1.3863 + 0.9163 = -0.47

c) 以此类推，可以算出iphone，手机，黑色三个关键词在3个类别中分别的条件概率以及互信息

下表为关键词在各个类别中的互信息

3．计算1中示例商品在各个分类中的相关度

Class(手机)= 0.9163+0.9163-0.6932=1.1394

Class(电脑)=0.0+0.0+0.2231=0.2231

Class(服装)= 0.0+0.0+0.2231=0.2231

4.由3可以看出示例商品分类为“手机”类别

我们用这套分类2.0系统，重新处理所有商品，随着训练集的不断扩展，准确率和召回率都在90%以上；同时也解放了运营团队，他们不需要再每天标记什么对应表了。

这，就是算法的力量！一个好的算法可以极大的提高生产力。通过算法提升产品流程，需要很强的功力，否则就像篇头漫画所表达的，不好的算法上线后，效果还可能退步。总之，算法研究就像基础科学，需长期投入，一旦开花，提升是极大的。