Hadoop/Spark推荐系统（三）——经常一起购买的商品

思路

将每一个购买清单拆解成物品两两组合，计算每个组合出现的总次数。

与“购买了该商品的顾客还购买了的商品”区别

购买了该商品的顾客还购买了的商品，input是用户为key，value为该用户的多次购买清单
经常一起购买的商品，input是交易编号，value为一次购买清单。所以此为购物篮分析的一个变种。

输入：

T1 {P1,P2,P3}
T2 {P2,P3}
T3 {P2,P3,P4}
T4 {P5,P6}
T5 {P3,P4}

算法：

map(key,value){
    (S1,S2,S3...Sm)=sort(P1,P2,...Pm);
    ListOfPair<Si,Sj>=generateCombinations(S1,S2...Sm)
    for( (Si,Sj)pair:ListOfPair<Si,Sj>){
        emit([Si,Sj],1]);
    }
}

map-output:

[<P1,P2>,1]
[<P1,P3>,1]
[<P2,P3>,1]

算法：

reduce(key,value){
    int sum=0;
    for(int i:List<integer>){
        sum+=i;
    }
    emit(key,sum);
}

输出：<Pi,Pj>,N