## 1.4 案例--基于协同过滤的电影推荐

### 学习目标

- 应用基于用户的协同过滤实现电影评分预测
- 应用基于物品的协同过滤实现电影评分预测

### 1 User-Based CF 预测电影评分

- 数据集下载
  - 下载地址：[MovieLens Latest Datasets Small](https://grouplens.org/datasets/movielens/latest/)
  - 建议下载[ml-latest-small.zip](http://files.grouplens.org/datasets/movielens/ml-latest-small.zip)，数据量小，便于我们单机使用和运行

- 加载ratings.csv，转换为用户-电影评分矩阵并计算用户之间相似度

  ```python
  import os
  
  import pandas as pd
  import numpy as np
  
  DATA_PATH = "./datasets/ml-latest-small/ratings.csv"
  
  dtype = {"userId": np.int32, "movieId": np.int32, "rating": np.float32}
  # 加载数据，我们只用前三列数据，分别是用户ID，电影ID，已经用户对电影的对应评分
  ratings = pd.read_csv(data_path, dtype=dtype, usecols=range(3))
  # 透视表，将电影ID转换为列名称，转换成为一个User-Movie的评分矩阵
  ratings_matrix = ratings.pivot_table(index=["userId"], columns=["movieId"],values="rating")
  #计算用户之间相似度
  user_similar = ratings_matrix.T.corr()
  ```

- 预测用户对物品的评分 （以用户1对电影1评分为例）

  **评分公式**
  $$
  pred(u,i)=\hat{r}_{ui}=\cfrac{\sum_{v\in U}sim(u,v)*r_{vi}}{\sum_{v\in U}|sim(u,v)|}
  $$

  ```python
  # 1. 找出uid用户的相似用户
  similar_users = user_similar[1].drop([1]).dropna()
  # 相似用户筛选规则：正相关的用户
  similar_users = similar_users.where(similar_users>0).dropna()
  # 2. 从用户1的近邻相似用户中筛选出对物品1有评分记录的近邻用户
  ids = set(ratings_matrix[1].dropna().index)&set(similar_users.index)
  finally_similar_users = similar_users.ix[list(1)]
  # 3. 结合uid用户与其近邻用户的相似度预测uid用户对iid物品的评分
  numerator = 0    # 评分预测公式的分子部分的值
  denominator = 0    # 评分预测公式的分母部分的值
  for sim_uid, similarity in finally_similar_users.iteritems():
      # 近邻用户的评分数据
      sim_user_rated_movies = ratings_matrix.ix[sim_uid].dropna()
      # 近邻用户对iid物品的评分
      sim_user_rating_for_item = sim_user_rated_movies[1]
      # 计算分子的值
      numerator += similarity * sim_user_rating_for_item
      # 计算分母的值
      denominator += similarity
  # 4 计算预测的评分值
  predict_rating = numerator/denominator
  print("预测出用户<%d>对电影<%d>的评分：%0.2f" % (1, 1, predict_rating))
  ```

- 封装成方法 预测任意用户对任意电影的评分

  ```python
  def predict(uid, iid, ratings_matrix, user_similar):
      '''
      预测给定用户对给定物品的评分值
      :param uid: 用户ID
      :param iid: 物品ID
      :param ratings_matrix: 用户-物品评分矩阵
      :param user_similar: 用户两两相似度矩阵
      :return: 预测的评分值
      '''
      print("开始预测用户<%d>对电影<%d>的评分..."%(uid, iid))
      # 1. 找出uid用户的相似用户
      similar_users = user_similar[uid].drop([uid]).dropna()
      # 相似用户筛选规则：正相关的用户
      similar_users = similar_users.where(similar_users>0).dropna()
      if similar_users.empty is True:
          raise Exception("用户<%d>没有相似的用户" % uid)
  
      # 2. 从uid用户的近邻相似用户中筛选出对iid物品有评分记录的近邻用户
      ids = set(ratings_matrix[iid].dropna().index)&set(similar_users.index)
      finally_similar_users = similar_users.ix[list(ids)]
  
      # 3. 结合uid用户与其近邻用户的相似度预测uid用户对iid物品的评分
      numerator = 0    # 评分预测公式的分子部分的值
      denominator = 0    # 评分预测公式的分母部分的值
      for sim_uid, similarity in finally_similar_users.iteritems():
          # 近邻用户的评分数据
          sim_user_rated_movies = ratings_matrix.ix[sim_uid].dropna()
          # 近邻用户对iid物品的评分
          sim_user_rating_for_item = sim_user_rated_movies[iid]
          # 计算分子的值
          numerator += similarity * sim_user_rating_for_item
          # 计算分母的值
          denominator += similarity
  
      # 计算预测的评分值并返回
      predict_rating = numerator/denominator
      print("预测出用户<%d>对电影<%d>的评分：%0.2f" % (uid, iid, predict_rating))
      return round(predict_rating, 2)
  ```

- 为某一用户预测所有电影评分

  ```python
  def predict_all(uid, ratings_matrix, user_similar):
      '''
      预测全部评分
      :param uid: 用户id
      :param ratings_matrix: 用户-物品打分矩阵
      :param user_similar: 用户两两间的相似度
      :return: 生成器，逐个返回预测评分
      '''
      # 准备要预测的物品的id列表
      item_ids = ratings_matrix.columns
      # 逐个预测
      for iid in item_ids:
          try:
              rating = predict(uid, iid, ratings_matrix, user_similar)
          except Exception as e:
              print(e)
          else:
              yield uid, iid, rating
  if __name__ == '__main__':
      for i in predict_all(1, ratings_matrix, user_similar):
          pass
  ```

- 根据评分为指定用户推荐topN个电影

  ```python
  def top_k_rs_result(k):
      results = predict_all(1, ratings_matrix, user_similar)
      return sorted(results, key=lambda x: x[2], reverse=True)[:k]
  if __name__ == '__main__':
      from pprint import pprint
      result = top_k_rs_result(20)
      pprint(result)
  ```



### 2 Item-Based CF 预测电影评分

- 加载ratings.csv，转换为用户-电影评分矩阵并计算用户之间相似度

  ```python
  import os
  
  import pandas as pd
  import numpy as np
  
  DATA_PATH = "./datasets/ml-latest-small/ratings.csv"
  
  dtype = {"userId": np.int32, "movieId": np.int32, "rating": np.float32}
  # 加载数据，我们只用前三列数据，分别是用户ID，电影ID，已经用户对电影的对应评分
  ratings = pd.read_csv(data_path, dtype=dtype, usecols=range(3))
  # 透视表，将电影ID转换为列名称，转换成为一个User-Movie的评分矩阵
  ratings_matrix = ratings.pivot_table(index=["userId"], columns=["movieId"],values="rating")
  #计算用户之间相似度
  item_similar = ratings_matrix.corr()
  ```

- 预测用户对物品的评分 （以用户1对电影1评分为例）

  **评分公式**
  $$
  pred(u,i)=\hat{r}_{ui}=\cfrac{\sum_{v\in U}sim(u,v)*r_{vi}}{\sum_{v\in U}|sim(u,v)|}
  $$

  ```python
  # 1. 找出iid物品的相似物品
  similar_items = item_similar[1].drop([1]).dropna()
  # 相似物品筛选规则：正相关的物品
  similar_items = similar_items.where(similar_items>0).dropna()
  # 2. 从iid物品的近邻相似物品中筛选出uid用户评分过的物品
  ids = set(ratings_matrix.ix[1].dropna().index)&set(similar_items.index)
  finally_similar_items = similar_items.ix[list(ids)]
  
  # 3. 结合iid物品与其相似物品的相似度和uid用户对其相似物品的评分，预测uid对iid的评分
  numerator = 0    # 评分预测公式的分子部分的值
  denominator = 0    # 评分预测公式的分母部分的值
  for sim_iid, similarity in finally_similar_items.iteritems():
      # 近邻物品的评分数据
      sim_item_rated_movies = ratings_matrix[sim_iid].dropna()
      # 1用户对相似物品物品的评分
      sim_item_rating_from_user = sim_item_rated_movies[1]
      # 计算分子的值
      numerator += similarity * sim_item_rating_from_user
      # 计算分母的值
      denominator += similarity
  
  # 计算预测的评分值并返回
  predict_rating = sum_up/sum_down
  print("预测出用户<%d>对电影<%d>的评分：%0.2f" % (uid, iid, predict_rating))
  ```

- 封装成方法 预测任意用户对任意电影的评分

  ```python
  def predict(uid, iid, ratings_matrix, user_similar):
      '''
      预测给定用户对给定物品的评分值
      :param uid: 用户ID
      :param iid: 物品ID
      :param ratings_matrix: 用户-物品评分矩阵
      :param user_similar: 用户两两相似度矩阵
      :return: 预测的评分值
      '''
      print("开始预测用户<%d>对电影<%d>的评分..."%(uid, iid))
      # 1. 找出uid用户的相似用户
      similar_users = user_similar[uid].drop([uid]).dropna()
      # 相似用户筛选规则：正相关的用户
      similar_users = similar_users.where(similar_users>0).dropna()
      if similar_users.empty is True:
          raise Exception("用户<%d>没有相似的用户" % uid)
  
      # 2. 从uid用户的近邻相似用户中筛选出对iid物品有评分记录的近邻用户
      ids = set(ratings_matrix[iid].dropna().index)&set(similar_users.index)
      finally_similar_users = similar_users.ix[list(ids)]
  
      # 3. 结合uid用户与其近邻用户的相似度预测uid用户对iid物品的评分
      numerator = 0    # 评分预测公式的分子部分的值
      denominator = 0    # 评分预测公式的分母部分的值
      for sim_uid, similarity in finally_similar_users.iteritems():
          # 近邻用户的评分数据
          sim_user_rated_movies = ratings_matrix.ix[sim_uid].dropna()
          # 近邻用户对iid物品的评分
          sim_user_rating_for_item = sim_user_rated_movies[iid]
          # 计算分子的值
          numerator += similarity * sim_user_rating_for_item
          # 计算分母的值
          denominator += similarity
  
      # 计算预测的评分值并返回
      predict_rating = numerator/denominator
      print("预测出用户<%d>对电影<%d>的评分：%0.2f" % (uid, iid, predict_rating))
      return round(predict_rating, 2)
  ```

- 为某一用户预测所有电影评分

  ```python
  def predict_all(uid, ratings_matrix, item_similar):
      '''
      预测全部评分
      :param uid: 用户id
      :param ratings_matrix: 用户-物品打分矩阵
      :param item_similar: 物品两两间的相似度
      :return: 生成器，逐个返回预测评分
      '''
      # 准备要预测的物品的id列表
      item_ids = ratings_matrix.columns
      # 逐个预测
      for iid in item_ids:
          try:
              rating = predict(uid, iid, ratings_matrix, item_similar)
          except Exception as e:
              print(e)
          else:
              yield uid, iid, rating
  
  if __name__ == '__main__':
      for i in predict_all(1, ratings_matrix, item_similar):
          pass
  ```

- 根据评分为指定用户推荐topN个电影

  ```python
  def top_k_rs_result(k):
      results = predict_all(1, ratings_matrix, item_similar)
      return sorted(results, key=lambda x: x[2], reverse=True)[:k]
  if __name__ == '__main__':
      from pprint import pprint
      result = top_k_rs_result(20)
      pprint(result)
  ```

### 3