作者：项亮
出版社：人民邮电出版社
格式: AZW3, DOCX, EPUB, MOBI, PDF, TXT
推荐系统实践试读：
前言
说起本书，还要追溯到2010年3月份的ResysChina推荐系统大会。在那次会议上，我遇到了刘江老师。刘老师看过我之前写的一些推荐系统方面的博客，希望我能总结总结，写本简单的书。当时国内还没有推荐系统方面的书，而国外已经有这方面的专业书了，因此图灵公司很想出版一本介绍推荐系统的书。所以，去年7月博士毕业时，我感觉有时间可以总结一下这方面的工作了，于是准备开始写这本书。
写这本书的目的有下面几个。首先，从个人角度讲，虽然写博士论文时已经总结了读博期间在推荐系统方面的工作，但并没有全部涉及整个推荐系统的各个方面，因此我很希望通过写作这本书全面地阅读一下相关的文献，并在此基础上总结一下推荐系统各个方面的发展现状，供大家参考。其次，最近几年从事推荐系统研究的人越来越多，这些人中有些原来是工程师，对机器学习和数据挖掘不太了解，有些是在校学生，虽然对数据挖掘和机器学习有所了解，却对业界如何实现推荐系统不太清楚。因此，我希望能够通过本书让工程师了解推荐系统的相关算法，让学生了解如何将自己了解的算法实现到一个真实的工业系统中去。
一般认为，推荐系统这个研究领域源于协同过滤算法的提出。这么说来，推荐系统诞生快20年了。这期间，很多学者和公司对推荐系统的发展起到了重要的推动作用，各种各样的推荐算法也层出不穷。本书希望将这20年间诞生的典型方法进行总结。但由于方法太多，这些方法的归类有很多不同的方式。比如，可以按照数据分成协同过滤、内容过滤、社会化过滤，也可以按照算法分成基于邻域的算法、基于图的算法、基于矩阵分解或者概率模型的算法。为了方便读者入门，本书基本采用数据分类的方法，每一章都介绍了一种可以用于推荐系统设计的、新类型的用户数据，然后介绍如何通过各种方法利用该数据，最后在公开数据集上评测这些方法。当然，不是所有数据都有公开的数据集，并且不是所有算法都可以进行离线评测。因此，在遇到没有数据集或无法进行离线评测的问题时，本书引用了一些著名学者的实验结果来说明各种方法的效果。
为了使本书同时适合工程师和在校学生阅读，本书在写作中同时使用了两种介绍方法。一种是利用公式，这样方便有一些理论基础的同学很快明白算法的含义。另一种是利用代码，这样可以方便工程师迅速了解算法的含义。不过因为本人是学生出身，工程经验还不是特别足，所以有些代码写得不是那么完美，还请工程师们海涵。
本书一开始写的时候有3位作者，除了我之外还有豆瓣的陈义和腾讯的王益。他们两位都是这方面的前辈，在写作过程中提出了很多宝贵的意见。但因为二位工作实在太繁忙，所以本书主要由我操刀。但书中的很多论述融合了大家的思想和经验，是我们很多次讨论的结果。因此在这里感谢王益和陈义二位合作者，虽然二位没有动笔，但对这本书做出了很大的贡献。
其次，还要感谢吴军老师和谷文栋为本书作序。感谢谷文栋、稳国柱、张夏天各自审阅了书中部分内容，提出了很多宝贵的意见。感谢我在Hulu的同事郑华和李航，郑华给了我充分的时间完成这本书，对这本书能够按时出版功不可没，而李航审阅了书中的部分内容，提出了很多有价值的修改意见。
最后感谢我的父母和妻子，他们在我写作过程中给予了很大照顾，感谢他们的辛勤付出。第 1 章好的推荐系统
在研究如何设计推荐系统前，了解什么是好的推荐系统至关重要。只有了解了优秀推荐系统的特征，我们才能在设计推荐系统时根据实际情况进行取舍。本章分3个步骤来回答这个问题：首先，本章将介绍什么是推荐系统、推荐系统的主要任务、推荐系统和分类目录以及搜索引擎的区别等；然后，本章将按照不同领域分门别类地介绍目前业界常见的个性化推荐应用；最后，本章将介绍推荐系统的评测，通过介绍评测指标给出“好”的定义，从而最终解答“什么是好的推荐系统”这个问题。1.1 什么是推荐系统
如果想买一包花生米，你有多少种办法？假设附近有一个24小时便利店，你可以走进店里，看看所有的货架，转一圈找到花生米，然后比较几个牌子的口碑或者价格找到自己喜欢的牌子，掏钱付款。如果家附近有一家沃尔玛，你可以走进店里，按照分类指示牌走到食品所在的楼层，接着按照指示牌找到卖干果的货架，然后在货架上仔细寻找你需要的花生米，找到后付款。如果你很懒，不想出门，可以打开当当或者淘宝，在一个叫做搜索框的东西里输入花生米3个字，然后你会看到一堆花生米，找到喜欢的牌子，付费，然后等待送货上门。上面这几个例子描述了用户在有明确需求的情况下，面对信息过载所采用的措施。在24小时便利店，因为店面很小，用户可以凭自己的经验浏览所有货架找到自己需要的东西。在沃尔玛，商品已经被放在无数的货架上，此时用户就需要借用分类信息找到自己需要的商品。而在淘宝或者当当，由于商品数目巨大，用户只能通过搜索引擎找到自己需要的商品。
但是，如果用户没有明确的需求呢？比如你今天很无聊，想下载一部电影看看。但当你打开某个下载网站，面对100年来发行的数不胜数的电影，你会手足无措，不知道该看哪一部。此时，你遇到了信息过载的问题，需要一个人或者工具来帮助你做筛选，给出一些建议供你选择。如果这时候有个喜欢看电影的朋友在身边，你可能会请他推荐几部电影。不过，总不能时时刻刻都去麻烦“专家”给你推荐，你需要的是一个自动化的工具，它可以分析你的历史兴趣，从庞大的电影库中找到几部符合你兴趣的电影供你选择。这个工具就是个性化推荐系统。
随着信息技术和互联网的发展，人们逐渐从信息匮乏的时代走入了信息过载（information overload）的时代①。在这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战：对于信息消费者，从大量信息中找到自己感兴趣的信息是一件非常困难的事情；对于信息生产者，让自己生产的信息脱颖而出，受到广大用户的关注，也是一件非常困难的事情。推荐系统就是解决这一矛盾的重要工具。推荐系统的任务就是联系用户和信息，一方面帮助用户发现对自己有价值的信息，另一方面让信息能够展现在对它感兴趣的用户面前，从而实现信息消费者和信息生产者的双赢（如图1-1所示）。（本书后面将信息统称为“物品”，即可以供用户消费的东西。）
① 参见http://en.wikipedia.org/wiki/Information_overload。
图1-1 推荐系统的基本任务是联系用户和物品，解决信息过载的问题
众所周知，为了解决信息过载的问题，已经有无数科学家和工程师提出了很多天才的解决方案，其中代表性的解决方案是分类目录和搜索引擎。而这两种解决方案分别催生了互联网领域的两家著名公司——雅虎和谷歌。著名的互联网公司雅虎凭借分类目录起家，而现在比较著名的分类目录网站还有国外的DMOZ、国内的Hao123等。这些目录将著名的网站分门别类，从而方便用户根据类别查找网站。但是随着互联网规模的不断扩大，分类目录网站也只能覆盖少量的热门网站，越来越不能满足用户的需求。因此，搜索引擎诞生了。以谷歌为代表的搜索引擎可以让用户通过搜索关键词找到自己需要的信息。但是，搜索引擎需要用户主动提供准确的关键词来寻找信息，因此不能解决用户的很多其他需求，比如当用户无法找到准确描述自己需求的关键词时，搜索引擎就无能为力了。和搜索引擎一样，推荐系统也是一种帮助用户快速发现有用信息的工具。和搜索引擎不同的是，推荐系统不需要用户提供明确的需求，而是通过分析用户的历史行为给用户的兴趣建模，从而主动给用户推荐能够满足他们兴趣和需求的信息。因此，从某种意义上说，推荐系统和搜索引擎对于用户来说是两个互补的工具。搜索引擎满足了用户有明确目的时的主动查找需求，而推荐系统能够在用户没有明确目的的时候帮助他们发现感兴趣的新内容。
从物品的角度出发，推荐系统可以更好地发掘物品的长尾（long tail）。美国《连线》杂志主编Chris Anderson在2004年发表了“The Long Tail”（长尾）一文并于2006年出版了《长尾理论》一书。该书指出，传统的80/20原则（80%的销售额来自于20%的热门品牌）在互联网的加入下会受到挑战。互联网条件下，由于货架成本极端低廉，电子商务网站往往能出售比传统零售店更多的商品。虽然这些商品绝大多数都不热门，但与传统零售业相比，这些不热门的商品数量极其庞大，因此这些长尾商品的总销售额将是一个不可小觑的数字，也许会超过热门商品（即主流商品）带来的销售额。主流商品往往代表了绝大多数用户的需求，而长尾商品往往代表了一小部分用户的个性化需求。因此，如果要通过发掘长尾提高销售额，就必须充分研究用户的兴趣，而这正是个性化推荐系统主要解决的问题。推荐系统通过发掘用户的行为，找到用户的个性化需求，从而将长尾商品准确地推荐给需要它的用户，帮助用户发现那些他们感兴趣但很难发现的商品。
要了解推荐系统是如何工作的，可以先回顾一下现实社会中用户面对很多选择时做决定的过程。仍然以看电影为例，一般来说，我们可能用如下方式决定最终看什么电影。● 向朋友咨询。我们也许会打开聊天工具，找几个经常看电影
的好朋友，问问他们有没有什么电影可以推荐。甚至，我们可以
打开微博，发表一句“我要看电影”，然后等待热心人推荐电影。
这种方式在推荐系统中称为社会化推荐（social
recommendation），即让好友给自己推荐物品。● 我们一般都有喜欢的演员和导演，有些人可能会打开搜索引
擎，输入自己喜欢的演员名，然后看看返回结果中还有什么电影
是自己没有看过的。比如我非常喜欢周星驰的电影，于是就去豆
瓣搜索周星驰，发现他早年的一部电影我还没看过，于是就会看
一看。这种方式是寻找和自己之前看过的电影在内容上相似的电
影。推荐系统可以将上述过程自动化，通过分析用户曾经看过的
电影找到用户喜欢的演员和导演，然后给用户推荐这些演员或者
导演的其他电影。这种推荐方式在推荐系统中称为基于内容的推
荐 （content-based filtering）。● 我们还可能查看排行榜，比如著名的IMDB电影排行榜，看
看别人都在看什么电影，别人都喜欢什么电影，然后找一部广受
好评的电影观看。这种方式可以进一步扩展：如果能找到和自己
历史兴趣相似的一群用户，看看他们最近在看什么电影，那么结
果可能比宽泛的热门排行榜更能符合自己的兴趣。这种方式称为
基于协同过滤（collaborative filtering）的推荐。
从上面3种方法可以看出，推荐算法的本质是通过一定的方式将用户和物品联系起来，而不同的推荐系统利用了不同的方式。图1-2展示了联系用户和物品的常用方式，比如利用好友、用户的历史兴趣记录以及用户的注册信息等。
图1-2 推荐系统常用的3种联系用户和物品的方式
通过这一节的讨论，我们可以发现推荐系统就是自动联系用户和物品的一种工具，它能够在信息过载的环境中帮助用户发现令他们感兴趣的信息，也能将信息推送给对它们感兴趣的用户。下一节将通过推荐系统的实际例子让大家加深对推荐系统的了解。1.2 个性化推荐系统的应用
和搜索引擎不同，个性化推荐系统需要依赖用户的行为数据，因此一般都是作为一个应用存在于不同网站之中。在互联网的各类网站中都可以看到推荐系统的应用，而个性化推荐系统在这些网站中的主要作用是通过分析大量用户行为日志，给不同用户提供不同的个性化页面展示，来提高网站的点击率和转化率。广泛利用推荐系统的领域包括电子商务、电影和视频、音乐、社交网络、阅读、基于位置的服务、个性化邮件和广告等。
尽管不同的网站使用不同的推荐系统技术，但总地来说，几乎所有的推荐系统应用都是由前台的展示页面、后台的日志系统以及推荐算法系统3部分构成的。因此，本节在介绍不同的个性化推荐系统应用时，都尽量围绕这3个不同的部分进行。1.2.1 电子商务
电子商务网站是个性化推荐系统的一大应用领域。著名的电子商务网站亚马逊是个性化推荐系统的积极应用者和推广者，被RWW（读写网）称为“推荐系统之王”。①亚马逊的推荐系统深入到了其各类产品中，其中最主要的应用有个性化商品推荐列表和相关商品的推荐列表。
① 参见读写网的文章 “A Guide to Recommender Systems”。
图1-3是亚马逊的个性化推荐列表，这个界面是个性化推荐系统的标准用户界面，它包含以下几个组成部分。
截取自亚马逊网站，图中相关内容的著作权归原著作权人所有
图1-3 亚马逊的个性化推荐列表● 推荐结果的标题、缩略图以及其他内容属性 告诉用户给他
们推荐的是什么。● 推荐结果的平均分 平均分反应了推荐结果的总体质量，也
代表了大部分用户对这本书的看法。● 推荐理由 亚马逊根据用户的历史行为给用户做推荐，因此如果
它给你推荐了一本金庸的小说，大都是因为你曾经在亚马逊上对
武侠方面的书给过表示喜欢的反馈。此外，亚马逊对每个推荐结
果都给出了一个按钮Fix this recommendation（修正这一推荐），
单击后可以看到推荐理由。如图1-4所示，亚马逊的推荐结果中
有一本关于机器学习的书（Introduction to Machine Learning），
单击该推荐结果的Fix this recommendaion按钮后，会弹出如图
1-4所示的页面，该页面给用户提供了5种对这个推荐结果进行反
馈的方式，包括Add to Cart（加入到购物车）、Add to Wish
List（加入到心愿单）、Rate this item（给书打分）、 I own
it（我已经有这本书了）和Not interested（对这本书没兴趣）。
同时，在推荐结果的下面还展示了推荐原因，此处是因为我曾经
给Probabilistic Graphical Models：Principles and Techniques和
Data Mining:Practical Machine Learning Tools and Techniques，
Second Edition这两本书打过5分。亚马逊允许用户禁用推荐理由，
这主要是出于隐私的考虑。有些用户可能不喜欢他对某些物品的
行为被系统用来生成推荐结果，这个时候就可以禁用这些行为。
截取自亚马逊网站，图中相关内容的著作权归原著作权人所有
图1-4 单击Fix this recommendation按钮后打开的页面
图1-3提到的个性化推荐列表采用了一种基于物品的推荐算法（item-based method），该算法给用户推荐那些和他们之前喜欢的物品相似的物品。除此之外，亚马逊还有另外一种个性化推荐列表，就是按照用户在Facebook的好友关系，给用户推荐他们的好友在亚马逊上喜欢的物品。如图1-5所示，基于好友的个性化推荐界面同样由物品标题、缩略图、物品平均分和推荐理由组成。不过这里的推荐理由换成了喜欢过相关物品的用户好友的头像。
截取自亚马逊网站，图中相关内容的著作权归原著作权人所有
图1-5 基于Facebook好友的个性化推荐列表
除了个性化推荐列表，亚马逊另一个重要的推荐应用就是相关推荐列表。当你在亚马逊购买一个商品时，它会在商品信息下面展示相关的商品。亚马逊有两种相关商品列表，一种是包含购买了这个商品的用户也经常购买的其他商品（如图1-6所示），另一种是包含浏览过这个商品的用户经常购买的其他商品（如图1-7所示）。这两种相关推荐列表的区别就是使用了不同用户行为计算物品的相关性。此外，相关推荐列表最重要的应用就是打包销售（cross selling）②。当你在购买某个物品的时候，亚马逊会告诉你其他用户在购买这个商品的同时也会购买的其他几个商品，然后让你选择是否要同时购买这些商品。如果你单击了同时购买，它会把这几件商品“打包”，有时会提供一定的折扣，然后卖给你（如图1-8所示）。这种销售手段是推荐算法最重要的应用，后来被很多电子商务网站作为标准的应用。
② 更多关于Cross Selling的信息参见维基百科Crossing Selling词条。
截取自亚马逊网站，图中相关内容的著作权归原著作权人所有
图1-6 相关推荐列表，购买过这个商品的用户经常购买的其他商品
在看过亚马逊的推荐产品后，读者最关心的应该是这些推荐的应用，究竟给亚马逊带来了多少商业利益。关于这方面的准确数字，亚马逊官方并没有明确公开过，但我们收集到了一些相关的资料。亚马逊的前科学家Greg Linden在他的博客里曾经说过，在他离开亚马逊的时候，亚马逊至少有20%（之后的一篇博文则变更为35%）的销售来自于推荐算法。此外，亚马逊的前首席科学家Andreas Weigend在斯坦福曾经讲过一次推荐系统的课，据听他课的同学透露③，亚马逊有20%～30%的销售来自于推荐系统。
③ 参见Lessons on recommendation Systems, 地址为http://blog.Kiwitobes.com/?p=58。
截取自亚马逊网站，图中相关内容的著作权归原著作权人所有
图1-7 相关推荐列表，浏览过这个商品的用户经常购买的其他商品
截取自亚马逊网站，图中相关内容的著作权归原著作权人所有
图1-8 亚马逊的打包销售界面
至于个性化推荐系统对亚马逊的意义，其CEO Jeff Bezos在接受采访时曾经说过，亚马逊相对于其他电子商务网站的最大优势就在于个性化推荐系统，该系统让每个用户都能拥有一个自己的在线商店，并且能在商店中找到自己感兴趣的商品。④
④ 参见Mark Levene的An Introduction to Search Engines and Web Navigation, Second Edition（Wiley, 2010）。1.2.2 电影和视频网站
在电影和视频网站中，个性化推荐系统也是一种重要的应用。它能够帮助用户在浩瀚的视频库中找到令他们感兴趣的视频。在该领域成功使用推荐系统的一家公司就是Netflix，它和亚马逊是推荐系统领域最具代表性的两家公司。
Netflix原先是一家DVD租赁网站，最近这几年也开始涉足在线视频业务。Netflix非常重视个性化推荐技术，并且在2006年起开始举办著名的Netflix Prize推荐系统比赛①。该比赛悬赏100万美元，希望研究人员能够将Netflix的推荐算法的预测准确度提升10%。该比赛举办3年后，由AT&T的研究人员获得了最终的大奖。该比赛对推荐系统的发展起到了重要的推动作用：一方面该比赛给学术界提供了一个实际系统中的大规模用户行为数据集（40万用户对2万部电影的上亿条评分记录）；另一方面，3年的比赛中，参赛者提出了很多推荐算法，大大降低了推荐系统的预测误差。此外，比赛吸引了很多优秀的科研人员加入到推荐系统的研究中来，大大提高了推荐系统在业界和学术界的影响力。
① 参见http://netflixprize.com/。
图1-9是Netflix的电影推荐界面，从中可以看到Netflix的推荐结果展示页面包含了以下几个部分。● 电影的标题和海报。● 用户反馈模块——包括Play（播放）、评分和Not
Interested（不感兴趣）3种。● 推荐理由——因为用户曾经喜欢过别的电影。
截取自Netflix网站，图中相关内容的著作权归原著作权人所有
图1-9 Netflix的电影推荐系统用户界面
从Netflix的推荐理由来看，它们的算法和亚马逊的算法类似，也是基于物品的推荐算法，即给用户推荐和他们曾经喜欢的电影相似的电影。至于推荐系统在Netflix中起到的作用，Netflix在宣传资料②中宣称，有60%③的用户是通过其推荐系统找到自己感兴趣的电影和视频的。
② 参见http://cdn-0.nflximg.com/us/pdf/Consumer_Press_Kit.pdf, Consumer Press Kit。
③ 关于这个60%的数字和前面提到的与亚马逊有关的30%，我们想指出的是如果网站将推荐系统放在很重要的位置，比如放在首页，那么这个比例自然会高。但需要注意的是，用户在网站中除了推荐系统，还可以通过搜索和分类目录获得自己感兴趣的信息，那么在这3种方式中，如果利用推荐系统的比例能够达到30%～60%，还是能够说明推荐系统的有效性。当然，如果要彻底证明这个问题，只能将整个推荐系统去掉，然后对比有推荐系统的网站和没有推荐系统的网站的收入，当然这种实验永远不会发生。
YouTube作为美国最大的视频网站，拥有大量用户上传的视频内容。由于视频库非常大，用户在YouTube中面临着严重的信息过载问题。为此，YouTube在个性化推荐领域也进行了深入研究，尝试了很多算法。在YouTube最新的论文④中，他们的研究人员表示现在使用的也是基于物品的推荐算法。为了证明个性化推荐的有效性，YouTube曾经做个一个实验，比较了个性化推荐的点击率和热门视频列表的点击率，实验结果表明个性化推荐的点击率是 热门视频点击率的两倍。
④ 参见http://dl.acm.org/citation.cfm?id=1864770，The Youtube video recommendation system。
和YouTube类似，美国另一家著名的视频网站Hulu也有自己的个性化推荐页面。如图1-10所示，Hulu在展示推荐结果时也提供了视频标题、缩略图、视频的平均分、推荐理由和用户反馈模块。
截取自Hulu网站，图中相关内容的著作权归原著作权人所有
图1-10 视频网站Hulu的个性化推荐界面1.2.3 个性化音乐网络电台
个性化推荐的成功应用需要两个条件。第一是存在信息过载，因为如果用户可以很容易地从所有物品中找到喜欢的物品，就不需要个性化推荐了。第二是用户大部分时候没有特别明确的需求，因为用户如果有明确的需求，可以直接通过搜索引擎找到感兴趣的物品。
在这两个条件下，个性化网络电台无疑是最合适的个性化推荐产品。首先，音乐很多，用户不可能听完所有的音乐再决定自己喜欢听什么，而且每年新的歌曲在以很快的速度增加，因此用户无疑面临着信息过载的问题。其次，人们听音乐时，一般都是把音乐作为一种背景乐来听，很少有人必须听某首特定的歌。对于普通用户来说，听什么歌都可以，只要能够符合他们当时的心情就可以了。因此，个性化音乐网络电台是非常符合个性化推荐技术的产品。
目前有很多知名的个性化音乐网络电台。国际上著名的有Pandora（参见图1-11）和Last.fm（参见图1-12），国内的代表则是豆瓣电台（参见图1-13）。这3种应用虽然都是个性化网络电台，但背后的技术却不太一样。
截取自Pandora网站，图中相关内容的著作权归原著作权人所有
图1-11 Pandora个性化网络电台的用户界面
截取自Last.fm网站，图中相关内容的著作权归原著作权人所有
图1-12 Last.fm个性化网络电台的用户界面
截取自豆瓣个性化网络电台，图中相关内容的著作权归原著作权人所有
图1-13 豆瓣个性化网络电台的用户界面
从前端界面上看，这3个个性化网络电台很类似。它们都不允许用户点歌，而是给用户几种反馈方式——喜欢、不喜欢和跳过。经过用户一定时间的反馈，电台就可以从用户的历史行为中习得用户的兴趣模型，从而使用户的播放列表越来越符合用户对歌曲的兴趣。
Pandora背后的音乐推荐算法主要来自于一个叫做音乐基因工程的项目。这个项目起始于2000年1月6日，它的成员包括音乐家和对音乐有兴趣的工程师。Pandora的算法主要基于内容，其音乐家和研究人员亲自听了上万首来自不同歌手的歌，然后对歌曲的不同特性（比如旋律、节奏、编曲和歌词等）进行标注，这些标注被称为音乐的基因。然后，Pandora会根据专家标注的基因计算歌曲的相似度，并给用户推荐和他之前喜欢的音乐在基因上相似的其他音乐。
Last.fm于2002年在英国成立。Last.fm记录了所有用户的听歌记录以及用户对歌曲的反馈，在这一基础上计算出不同用户在歌曲上的喜好相似度，从而给用户推荐和他有相似听歌爱好的其他用户喜欢的歌曲。同时，Last.fm也建立了一个社交网络，让用户能够和其他用户建立联系，同时也能让用户给好友推荐自己喜欢的歌曲。和Pandora相比，Last.fm没有使用专家标注，而是主要利用用户行为计算歌曲的相似度。
音乐推荐是推荐系统里非常特殊的领域。2011年的Recsys大会专门邀请了Pandora的研究人员对音乐推荐进行了演讲①。演讲人总结了音乐推荐的如下特点。
① PPT为Music Recommendation and Discovery，见http://www.slideshare.net/plamere/music-recommendation-and-discovery。● 物品空间大 物品数很多，物品空间很大，这主要是相对于
书和电影而言。● 消费每首歌的代价很小 对于在线音乐来说，音乐都是免费
的，不需要付费。● 物品种类丰富 音乐种类丰富，有很多的流派。● 听一首歌耗时很少 听一首音乐的时间成本很低，不太浪费
用户的时间，而且用户大都把音乐作为背景声音，同时进行其他
工作。● 物品重用率很高 每首歌用户会听很多遍，这和其他物品不
同，比如用户不会反复看一个电影，不会反复买一本书。● 用户充满激情 用户很有激情，一个用户会听很多首歌。● 上下文相关 用户的口味很受当时上下文的影响，这里的上
下文主要包括用户当时的心情（比如沮丧的时候喜欢听励志的歌
曲）和所处情境（比如睡觉前喜欢听轻音乐）。● 次序很重要 用户听音乐一般是按照一定的次序一首一首地
听。● 很多播放列表资源 很多用户都会创建很多个人播放列表。● 不需要用户全神贯注 音乐不需要用户全神贯注地听，很多
用户将音乐作为背景声音。● 高度社会化 用户听音乐的行为具有很强的社会化特性，比
如我们会和好友分享自己喜欢的音乐。
上面这些特点决定了音乐是一种非常适合用来推荐的物品。因此，尽管现在很多推荐系统都是作为一个应用存在于网站中，比如亚马逊的商品推荐和Netflix的电影推荐，唯有音乐推荐可以支持独立的个性化推荐网站，比如Pandora、Last.fm和豆瓣网络电台。1.2.4 社交网络
最近5年，互联网最激动人心的产品莫过于以Facebook和Twitter为代表的社交网络应用。在社交网络中，好友们可以互相分享、传播信息。社交网络中的个性化推荐技术主要应用在3个方面：● 利用用户的社交网络信息对用户进行个性化的物品推荐；● 信息流的会话推荐；● 给用户推荐好友。
Facebook最宝贵的数据有两个，一个是用户之间的社交网络关系，另一个是用户的偏好信息。因此，Facebook推出了一个推荐API，称为Instant Personalization。该工具根据用户好友喜欢的信息，给用户推荐他们的好友最喜欢的物品。很多网站都使用了Facebook的API来实现网站的个性化。表1-1中是使用了Facebook的Instant Personalization的具有代表性的网站。图1-14是著名的电视剧推荐网站Clicker使用Instant Personalization给用户进行个性化视频推荐的界面。表1-1 使用了Facebook Instant Personalization工具的网站①网 站网站类型Clicker个性化电视推荐Rotten Tomatoes电影评论Docs.com协作式文档编辑Pandora个性化音乐网络电台Yelp本地评论Scribd社会化阅读
① 这些网站的详细信息见http://www.facebook.com/instantpersonalization/。
截取自Clicker网站，图中相关内容的著作权归原著作权人所有
图1-14 Clicker利用好友的行为给用户推荐电视剧
除了利用用户在社交网站的社交网络信息给用户推荐本站的各种物品，社交网站本身也会利用社交网络给用户推荐其他用户在社交网站的会话。如图1-15所示，每个用户在Facebook的个人首页都能看到好友的各种分享，并且能对这些分享进行评论。每个分享和它的所有评论被称为一个会话，如何给这些会话排序是社交网站研究中的一个重要话题。为此，Facebook开发了EdgeRank算法对这些会话排序，使用户能够尽量看到熟悉的好友的最新会话。
截取自Facebook，图中相关内容的著作权归原著作权人所有
图1-15 用户在Facebook的信息流
除了根据用户的社交网络以及用户行为给用户推荐内容，社交网站还通过个性化推荐服务给用户推荐好友。图1-16显示了著名社交网站的好友推荐界面。
截取自Facebook、Twitter、LinkedIn和新浪微博，图中相关内容的著作权归原著作权人所有
图1-16 不同社交网站中好友推荐系统的界面（左上为Facebook，左下为Twitter，右上为LinkedIn，右下为新浪微博）1.2.5 个性化阅读
阅读文章是很多互联网用户每天都会做的事情。个性化阅读同样符合前面提出的需要个性化推荐的两个因素：首先，互联网上的文章非常多，用户面临信息过载的问题；其次，用户很多时候并没有必须看某篇具体文章的需求，他们只是想通过阅读特定领域的文章了解这些领域的动态。
目前互联网上的个性化阅读工具很多，国际知名的有Google Reader，国内有鲜果网等。同时，随着移动设备的流行，移动设备上针对个性化阅读的应用也很多，其中具有代表性的有Zite和Flipboard。
Google Reader是一款流行的社会化阅读工具。它允许用户关注自己感兴趣的人，然后看到所关注用户分享的文章。如图1-17所示，如果单击左侧的People you follow（你关注的人），就可以看到其他用户分享的文章。
截取自Google Reader，图中相关内容的著作权归原著作权人所有
图1-17 Google Reader社会化阅读
和Google Reader不同，个性化阅读工具Zite则是收集用户对文章的偏好信息。如图1-18所示，在每篇文章右侧，Zite都允许用户给出喜欢或不喜欢的反馈，然后通过分析用户的反馈数据不停地更新用户的个性化文章列表。Zite推出后获得了巨大的成功，后被CNN收购。
截取自Zite，图中相关内容的著作权归原著作权人所有
图1-18 Zite个性化阅读界面
另一家著名的新闻阅读网站Digg也在首页尝试了推荐系统。①Digg首先根据用户的Digg历史计算用户之间的兴趣相似度，然后给用户推荐和他兴趣相似的用户喜欢的文章。根据Digg自己的统计，在使用推荐系统后，用户的digg行为明显更加活跃，digg总数提高了40%，用户的好友数平均增加了24%，评论数增加了11%。
① 详见Digg官方博客上的文章“Digg Recommendation Engine Updates”，地址为http://about.digg.com/blog/digg-recom-mendation-engine-updates。1.2.6 基于位置的服务
在中关村闲逛时，肚子饿了，打开手机，发现上面给你推荐了几家中关村不错的饭馆，价格、环境、服务、口味都如你所愿，这几乎就是基于位置的个性化推荐系统最理想的场景了。随着移动设备的飞速发展，用户的位置信息已经非常容易获取，而位置是一种很重要的上下文信息，基于位置给用户推荐离他近的且他感兴趣的服务，用户就更有可能去消费。
基于位置的服务往往和社交网络结合在一起。比如Foursquare推出了探索功能，给用户推荐好友在附近的行为（如图1-19所示）。
截取自FourSquare，图中相关内容的著作权归原著作权人所有
图1-19 Foursquare的探索功能界面1.2.7 个性化邮件
我们每天都会收到大量的邮件，这些邮件有些对我们很重要（比如领导交代任务的邮件），有些比较次要（比如别人邀约周末打球的邮件），还有些是垃圾邮件。垃圾邮件可以通过垃圾邮件过滤器去除，这是一个专门的研究领域，这里就不讨论了。但在正常的邮件中，如果能够找到对用户重要的邮件让用户优先浏览，无疑会大大提高用户的工作效率。
其实，目前在文献中能够查到的第一个推荐系统Tapestry①就是一个个性化邮件推荐系统，它通过分析用户阅读邮件的历史行为和习惯对新邮件进行重新排序，从而提高用户的工作效率。
① 通过协同过滤筛选信息。
谷歌的研究人员在这个问题上也进行了深入研究，于2010年推出了优先级收件箱功能。如图1-20所示，该产品通过分析用户对邮件的历史行为，找到用户感兴趣的邮件，展示在一个专门的收件箱里。用户每天可以先浏览这个邮箱里的邮件，再浏览其他邮件。
谷歌的研究表明，该产品可以帮助用户节约6%的时间②。在如今这个时间就是金钱的年代，6%的节约无疑是一大进步。
② 参见读写网的报道Google Says Priority Inbox Users Spend 6% Less Time on Email(So Are You Using It?)（http://www.readwriteweb.com/search?query=google+says+priority+inbox+use&x=0&y=0）或者谷歌的论文The Learning Behind Gmail Priority Inbox（http://static.googleusercontent.com/external-content/untrusted_dlcp/research.google.com/zh-CN//pubs/archive/36955.pdf）。
截取自Gmail，图中相关内容的著作权归原著作权人所有
图1-20 Gmail的优先级邮箱1.2.8 个性化广告
广告是互联网公司生存的根本。很多互联网公司的盈利模式都是基于广告的，而广告的CPC、CPM直接决定了很多互联网公司的收入。目前，很多广告都是随机投放的，即每次用户来了，随机选择一个广告投放给他。这种投放的效率显然很低，比如给男性投放化妆品广告或者给女性投放西装广告多半都是一种浪费。因此，很多公司都致力于广告定向投放（Ad Targeting）的研究，即如何将广告投放给它的潜在客户群。个性化广告投放目前已经成为了一门独立的学科——计算广告学——但该学科和推荐系统在很多基础理论和方法上是相通的，比如它们的目的都是联系用户和物品，只是在个性化广告中，物品就是广告。
个性化广告投放和狭义个性化推荐的区别是，个性化推荐着重于帮助用户找到可能令他们感兴趣的物品，而广告推荐着重于帮助广告找到可能对它们感兴趣的用户，即一个是以用户为核心，而另一个以广告为核心。目前的个性化广告投放技术主要分为3种。● 上下文广告 通过分析用户正在浏览的网页内容，投放和网
页内容相关的广告。代表系统是谷歌的Adsense。● 搜索广告 通过分析用户在当前会话中的搜索记录，判断用
户的搜索目的，投放和用户目的相关的广告。● 个性化展示广告 我们经常在很多网站看到大量展示广告（就是那些大的横幅图片），它们是根据用户的兴趣，对不同用
户投放不同的展示广告。雅虎是这方面研究的代表。
广告的个性化定向投放是很多互联网公司的核心技术，很多公司都秘而不宣。不过，雅虎公司是个例外，它发表了大量个性化广告方面的论文。
在个性化广告方面最容易获得成功的无疑是Facebook，因为它拥有大量的用户个人资料，可以很容易地获取用户的兴趣，让广告商选择自己希望对其投放广告的用户。图1-21展示了Facebook的广告系统界面，该界面允许广告商选择自己希望的用户群，然后Facebook会根据广告商的选择告诉他们这些限制条件下广告将会覆盖的用户数量。
截取自Facebook，图中相关内容的著作权归原著作权人所有
图1-21 Facebook让广告商选择定向投放的目标用户1.3 推荐系统评测
什么才是好的推荐系统？这是推荐系统评测需要解决的首要问题。一个完整的推荐系统一般存在3个参与方（如图1-22所示）：用户、物品提供者和提供推荐系统的网站。以图书推荐为例，首先，推荐系统需要满足用户的需求，给用户推荐那些令他们感兴趣的图书。其次，推荐系统要让各出版社的书都能够被推荐给对其感兴趣的用户，而不是只推荐几个大型出版社的书。最后，好的推荐系统设计，能够让推荐系统本身收集到高质量的用户反馈，不断完善推荐的质量，增加用户和网站的交互，提高网站的收入。因此在评测一个推荐算法时，需要同时考虑三方的利益，一个好的推荐系统是能够令三方共赢的系统。
图1-22 推荐系统的参与者
在推荐系统的早期研究中，很多人将好的推荐系统定义为能够作出准确预测的推荐系统。比如，一个图书推荐系统预测一个用户将来会购买《C++ Primer中文版》这本书，而用户后来确实购买了，那么这就被看做一次准确的预测。预测准确度是推荐系统领域的重要指标（没有之一）。这个指标的好处是，它可以比较容易地通过离线方式计算出来，从而方便研究人员快速评价和选择不同的推荐算法。但是，很多研究表明，准确的预测并不代表好的推荐。①比如说，该用户早就准备买《C++ Primer中文版》了，无论是否给他推荐，他都准备购买，那么这个推荐结果显然是不好的，因为它并未使用户购买更多的书，而仅仅是方便用户购买一本他本来就准备买的书。那么，对于用户来说，他会觉得这个推荐结果很不新颖，不能令他惊喜。同时，对于《C++ Primer中文版》的出版社来说，这个推荐也没能增加这本书的潜在购买人数。所以，这是一个看上去很好，但其实却很失败的推荐。举一个更极端的例子，某推测系统预测明天太阳将从东方升起，虽然预测准确率是100%，却是一种没有意义的预测。
① 参见Sean M. McNee、John Riedl、Joseph A. Konstan的论文 “Being accurate is not enough: how accuracy metrics have hurt recommender systems”。
所以，好的推荐系统不仅仅能够准确预测用户的行为，而且能够扩展用户的视野，帮助用户发现那些他们可能会感兴趣，但却不那么容易发现的东西。同时，推荐系统还要能够帮助商家将那些被埋没在长尾中的好商品介绍给可能会对它们感兴趣的用户。这也正是《长尾理论》的作者在书中不遗余力介绍推荐系统的原因。
为了全面评测推荐系统对三方利益的影响，本章将从不同角度出发，提出不同的指标。这些指标包括准确度、覆盖度、新颖度、惊喜度、信任度、透明度等。这些指标中，有些可以离线计算，有些只有在线才能计算，有些只能通过用户问卷获得。下面各节将会依次介绍这些指标的出发点、含义，以及一些指标的计算方法。1.3.1 推荐系统实验方法
在介绍推荐系统的指标之前，首先看一下计算和获得这些指标的主要实验方法。在推荐系统中，主要有3种评测推荐效果的实验方法，即离线实验（offline experiment）、用户调查（user study）和在线实验（online experiment）。下面将分别介绍这3种实验方法的优缺点。1. 离线实验离线实验的方法一般由如下几个步骤构成：● 通过日志系统获得用户行为数据，并按照一定格式生成一个标准的数据集；● 将数据集按照一定的规则分成训练集和测试集；● 在训练集上训练用户兴趣模型，在测试集上进行预测；● 通过事先定义的离线指标评测算法在测试集上的预测结果。从上面的步骤可以看到，推荐系统的离线实验都是在数据集
上完成的，也就是说它不需要一个实际的系统来供它实验，而只
要有一个从实际系统日志中提取的数据集即可。这种实验方法的
好处是不需要真实用户参与，可以直接快速地计算出来，从而方
便、快速地测试大量不同的算法。它的主要缺点是无法获得很多
商业上关注的指标，如点击率、转化率等，而找到和商业指标非
常相关的离线指标也是很困难的事情。表1-2简单总结了离线实
验的优缺点。表1-2 离线实验的优缺点优 点缺 点不需要有对实际系统的控制权无法计算商业上关心的指标离线实验的指标和商业指标存不需要用户参与实验在差距速度快，可以测试大量算法2. 用户调查注意，离线实验的指标和实际的商业指标存在差距，比如预
测准确率和用户满意度之间就存在很大差别，高预测准确率不等
于高用户满意度。因此，如果要准确评测一个算法，需要相对比
较真实的环境。最好的方法就是将算法直接上线测试，但在对算
法会不会降低用户满意度不太有把握的情况下，上线测试具有较
高的风险，所以在上线测试前一般需要做一次称为用户调查的测
试。用户调查需要有一些真实用户，让他们在需要测试的推荐系
统上完成一些任务。在他们完成任务时，我们需要观察和记录他
们的行为，并让他们回答一些问题。最后，我们需要通过分析他
们的行为和答案了解测试系统的性能。用户调查是推荐系统评测的一个重要工具，很多离线时没有
办法评测的与用户主观感受有关的指标都可以通过用户调查获
得。比如，如果我们想知道推荐结果是否很令用户惊喜，那我们
最好直接询问用户。但是，用户调查也有一些缺点。首先，用户
调查成本很高，需要用户花大量时间完成一个个任务，并回答相
关的问题。有些时候，还需要花钱雇用测试用户。因此，大多数
情况下很难进行大规模的用户调查，而对于参加人数较少的用户
调查，得出的很多结论往往没有统计意义。因此，我们在做用户
调查时，一方面要控制成本，另一方面又要保证结果的统计意义。此外，测试用户也不是随便选择的。需要尽量保证测试用户
的分布和真实用户的分布相同，比如男女各半，以及年龄、活跃
度的分布都和真实用户分布尽量相同。此外，用户调查要尽量保
证是双盲实验，不要让实验人员和用户事先知道测试的目标，以
免用户的回答和实验人员的测试受主观成分的影响。用户调查的优缺点也很明显。它的优点是可以获得很多体现
用户主观感受的指标，相对在线实验风险很低，出现错误后很容
易弥补。缺点是招募测试用户代价较大，很难组织大规模的测试
用户，因此会使测试结果的统计意义不足。此外，在很多时候设
计双盲实验非常困难，而且用户在测试环境下的行为和真实环境
下的行为可能有所不同，因而在测试环境下收集的测试指标可能
在真实环境下无法重现。3. 在线实验在完成离线实验和必要的用户调查后，可以将推荐系统上线
做AB测试，将它和旧的算法进行比较。AB测试是一种很常用的在线评测算法的实验方法。它通过
一定的规则将用户随机分成几组，并对不同组的用户采用不同的
算法，然后通过统计不同组用户的各种不同的评测指标比较不同
算法，比如可以统计不同组用户的点击率，通过点击率比较不同
算法的性能。对AB测试感兴趣的读者可以浏览一下网站http://
www.abtests.com/，该网站给出了很多通过实际AB测试提高网站
用户满意度的例子，从中我们可以学习到如何进行合理的AB测
试。AB测试的优点是可以公平获得不同算法实际在线时的性能
指标，包括商业上关注的指标。AB测试的缺点主要是周期比较
长，必须进行长期的实验才能得到可靠的结果。因此一般不会用
AB测试测试所有的算法，而只是用它测试那些在离线实验和用
户调查中表现很好的算法。其次，一个大型网站的AB测试系统
的设计也是一项复杂的工程。一个大型网站的架构分前端和后端，
从前端展示给用户的界面到最后端的算法，中间往往经过了很多
层，这些层往往由不同的团队控制，而且都有可能做AB测试。
如果为不同的层分别设计AB测试系统，那么不同的AB测试之间
往往会互相干扰。比如，当我们进行一个后台推荐算法的AB测
试，同时网页团队在做推荐页面的界面AB测试，最终的结果就
是你不知道测试结果是自己算法的改变，还是推荐界面的改变造
成的。因此，切分流量是AB测试中的关键，不同的层以及控制
这些层的团队需要从一个统一的地方获得自己AB测试的流量，
而不同层之间的流量应该是正交的。图1-23是一个简单的AB测试系统。用户进入网站后，流量
分配系统决定用户是否需要被进行AB测试，如果需要的话，流
量分配系统会给用户打上在测试中属于什么分组的标签。然后用
户浏览网页，而用户在浏览网页时的行为都会被通过日志系统发
回后台的日志数据库。此时，如果用户有测试分组的标签，那么
该标签也会被发回后台数据库。在后台，实验人员的工作首先是
配置流量分配系统，决定满足什么条件的用户参加什么样的测
试。其次，实验人员需要统计日志数据库中的数据，通过评测系
统生成不同分组用户的实验报告，并比较和评测实验结果。图1-23 AB测试系统
试读结束[说明：试读内容隐藏了图片]