1. 研究目的与意义
随着互联网的迅猛发展,人们获取到的信息越来越来多,但这也带来了"信息过载"的问题. 信息过载是指的是社会信息超过了个人或系统所能接受、处理或有效利用的范围，并导致故障的状况。为了解决“信息过载”的问题，已经有无数科学家和工程师提出了很多天才的解决方案，其中代表性的解决方案是分类目录和搜索引擎。而这两种解决方案分别催生了雅虎和谷歌两家互联网领域的著名公司。雅虎凭借分类目录起家，将著名的网站分门别类，从而方便用户根据类别查找网站,但是随着互联网规模的不断扩大，分类目录也只能覆盖少量的热门网站，越来越不能满足用户的需求因此催发了搜索引擎的诞生，以谷歌为代表的搜索引擎可以让用户通过关键词找到自己需要的信息。但是，搜索引擎需要用户主动提供准确的关键词来寻找信息，因此不能解决用户的很多其他需求，比如当用户无法主动提供准确描述自己需求的关键词时，搜索引擎就无能为力了。另一方面，搜索引擎根据关键字检索的信息是千篇一律的，不能满足各种用户在不同阶段不同背景下的个性化需求。由于搜索引擎存在这样的缺陷，推荐系统应运而生。
推荐系统被认为是解决该问题的主要方法之一.推荐系统能够有效的帮助人们快速的获取他们想要的信息,现在人们普遍地在网上观看电影。而电影产业已经发展多年,有大量的影片已存在于世,电影信息过载现象会越来越严重。面对海量的视频,把推荐算法应用于电影视频产业,一方面是用户的体验越来越好,一方面促进了推荐算法的演变与发展。当下, 矩阵分解技术在自然语言处理领域已经取得了成功,使用矩阵分解技术来处理电影的描述信息并结合传统推荐算法,设计并实现一个基于矩阵分解的个性化电影推荐系统具有重要的意义。
基于矩阵分解的推荐算法是推荐系统中常用的方法，建立一个个性化的电影推荐系统。基于矩阵分解的推荐系统可以很好的克服冷启动和数据稀疏问题，在系统运行阶段，有新用户加入可以提高其推荐的准确性。
2. 研究内容和预期目标
| 研究内容：本课题首先对矩阵分解技术进行研究，学习奇异值分解算法，并了解协同过滤推荐技术实现推荐的步骤，通过在相关数据集上进行实验，比较不同相似度量对推荐精准度的影响，以及不同协同过滤推荐算法在数据集上的表现，总结协同过滤推荐技术的优缺点。然后继续研究矩阵分解算法的理论知识和隐语义模型的原理，采用机器学习的方法，改进传统协同过滤技术使其性能和扩展性得到提高。 2.1、矩阵分解推荐算法的研究 矩阵分解推荐（Matrix factorization Recommendation）是当前比较热门的推荐算法，表现要优于传统的近邻技术，可以解决一些一些近邻模型无法解决的问题。矩阵分解可以解决： （1）物品之间存在相关性，信息量并不是随着向量维度增加而线性增加； （2）矩阵元素稀疏，计算结果不稳定，增减一个向量维度，导致紧邻结果差异很大的情况出现。 2.1.1、矩阵分解的一般形式 矩阵分解是指将一个矩阵分解成两个或者多个矩阵的乘积。对于用户——电影评分矩阵，记为Rm×n Rm×n≈Pm×k×Qk×n=Rm×n 其中，矩阵Pm×k表示的是m个用户与k个主题之间的关系，矩阵Qk×n表示的是k个主题与n个电影之间的关系。 2.1.2、利用矩阵分解进行预测 接下来的问题是如何求解矩阵Pm×k和Qk×n的每一个元素，可以将这个问题转化成机器学习中的回归问题进行求解。 （1）损失函数 可以使用原始的评分矩阵Rm×n与重新构建的评分矩阵Rm×n之间的误差的平方作为损失函数，即： ei,j2=ri,j-ri,j2=ri,j-k=1Kpi,kqk,j2 最终，需要求解所有的非负项的损失之和的最小值： minloss=ri,j≠-ei,j2 （2）损失函数的求解 对于上述的平方损失函数，可以通过梯度下降法求解，梯度下降法的核心步骤是 l 求解损失函数的负梯度： pi,kei,j2=-2ri,j-k=1Kpi,kqk,jqk,j=-2ei,jqk,j qk,jei,j2=-2ri,j-k=1Kpi,kqk,jpi,k=-2ei,jpi,k l 根据负梯度的方向更新变量： pi,k'=pi,k-αpi,kei,j2=pi,k 2αei,jqk,j qk,j'=qk,j-αqk,jei,j2=qk,j 2αei,jpi,k 通过迭代，直到算法最终收敛。 （3）加入正则项的损失函数的求解方法 通常在求解的过程中，为了能够有效好的泛华能力，会在损失函数中加入正则项，以对参数进行约束，加入L2正则的损失函数为： Ei,j2=ri,j-k=1Kpi,kqk,j2 β2k=1Kpi,k2 qk,j2 利用梯度下降法的求解过程为： l 求解损失函数的负梯度： pi,kEi,j2=-2ri,j-k=1Kpi,kqk,jqk,j βpi,k=-2ei,jqk,j βpi,k qk,jEi,j2=-2ri,j-k=1Kpi,kqk,jpi,k βqk,j=-2ei,jpi,k βqk,j l 根据负梯度的方向更新变量： pi,k'=pi,k-αpi,kei,j2 βpi,k=pi,k α2ei,jqk,j-βpi,k qk,j'=qk,j-αqk,jei,j2 βqk,j=qk,j α2ei,jpi,k-βqk,j 通过迭代，直到算法最终收敛。 （4）预测 利用上述的过程，我们可以得到矩阵Pm×k和Qk×n，这样便可以为用户i对电影j进行打分： k=1Kpi,kqk,j 预期目标：最终实现了一个电影推荐系统，用户可以通过注册填写一些个人的兴趣爱好，以及一些特别喜欢的电影，这样便可以开始使用该推荐系统的服务，用户可以根据分类浏览一些感兴趣的电影，并对其进行评分，推荐系统后台的分析算法通过矩阵分解的算法计算对电影评分矩阵分解，然后利用分解后的矩阵预测原始矩阵中的未评分项，根据预测的评分推荐给用户，用户就可以根据自己的喜爱的影片了解其他相似的可能会喜爱的影片。 |
3. 研究的方法与步骤
1、研究方法：
（1）掌握奇异值分解算法，basicsvd、funksvd、svd 等矩阵分解方法。
（2）掌握随机梯度下降法，并能熟练使用python的相关软件包接口。
4. 参考文献
| [1]X. Zheng, H. Ding, H. Mamitsuka, and S. Zhu, “Collaborative matrixfactorization with multiple similarities for predicting drug-targetinteractions,”in Proceedings of the 19th ACM SIGKDD international conferenceon Knowledge discovery and data mining.ACM, 2013, pp. 1025–1033. [2] BawdenD,Robinson L. The dark side of information: overload，anxiety andother paradoxes and pathologies. Journal of information science,2009,35(2):180-191.[3]Adomavicius G，Tuzhilin A.Context-aware recommendersystems.In:Recommender Systems Handbook[M]. 2011: 217-253. [4] ResnickP,Varian H R.Recommender systems. Communications of the ACM,1997,40(3):56-58. [5] WangGuoxia, Liu Heping.Survey of personalized recommendation system.ComputerEngineering and Applications, 2012,48(7): 66-76. [6] 克里斯·安德森长尾理论[M]．北京:中信出版社，2006. [7] GoldbergD, Nichols D, Oki B M, et al.Using collaborative filtering to weave an informationtapestry. Communications of the ACM, 1992,35(12):61-70. [8]KonstanJA, Miller B N,Maltz D, et al.GroupLens: applying collaborative filtering toUsenet news.Communications of the ACM,1997,40(3):77-87. [9] SchaferJ B,Konstan J,Riedi J.Recommender systems in e-commerce[CV/Proceedings of the1st ACM conference on Electronic commerce.ACM,1999:158-166. [10]Adler J,Parmryd I. Quantifying colocalization by correlation: The Pearson correlationcoefficient is superior to the Mander's overlap coefficient. Cytometry PartA, 2010,77(8):733-742. [11]Celma0,Lamere P. Music recommendation tutorial[J].ISMIR.Vienna,Austria, 2007. [12]孟祥武，胡勋，王立才，张玉洁.移动推荐系统及其应用[J].软件学报，2013,24(1):91108.[13]MengXiang-Wu,Wang F, Shi Yan-Cui, Zhang Yu-Jie.Mobile user requirementsacquisition techniques and their applications. Journal of Software, 2014,25(3):439-456(in Chinese). [ 14]张玉洁，杜雨露，孟祥武．组推荐系统及其应用[J].计算机学报，2015，Vo1.38:在线出版号No.89. [15]AdomaviciusG Tuzhilin A.Toward the next generation of recommender systems:A survey ofthe state-of-the-art and possibleextensions[J.IEEE Trans on Knowledge andData Engingeeri-ng 2005,17,6:734-749. [16]Kantor PB,Rokach L, Ricci F, et al.Recommender systems handbook[M], Springer, 2011. [17]王国霞，刘贺平.个性化推荐系统综述[J].计算机工程与应用，2012,48(7):66-76. [18]XuHai-Ling，Wu Xiao,Li Xiao-Dong， YanBao-Ping.Comparison study of Internet recommendation system. Journal ofSoftware，2009,20(2):350-362 (in Chinese). [19]Ding Y,Krislock N, Qian J, et al. Sensor network localization, Euclidean distancematrix completions,and graph realization.Optimization and Engineering, 2010,11(1):45-66. |
5. 计划与进度安排
(1) 2022年1月10日—2022年1月30日
接受毕业设计任务，查阅资料并完成开题报告；
(2) 2022年2月1日—2022年2月8日
