推荐系统推荐系统是通过人工智能算法解决如下问题:快速找到用户感兴趣的内容(广告、新闻、音乐、视频、商品等) 发现长尾内容经常,别人在问起的职业时,“(推荐系统)算法工程师”,当看着对方迷茫的眼神时,我都会再进一步解释:“就是当下最火的人工智能”,然后对方使劲的点了点头。其实我知道,他并不知道我在说什么。
如果对方聊天意愿很足,我会继续给他解释,人工智能解决效率问题,而推荐系统则是解决内容[广告、新闻、音乐、视频、商品等]分发效率的问题。推荐系统是人工智能的一个极为重要的应用,也可以说是最成功、应用最广泛的一个应用,其中包含了大量人工智能的技术,包括深度学习、图像识别、语音识别、自然语言处理、情感分析、搜索排序、标题党黄色内容识别等技术。
第一,推荐体统解决的就是信息过载问题,帮助人们更快发现自己感兴趣的内容 [广告、新闻、音乐、视频、商品等]。
第二,解决了长尾内容无法被展示的问题,例如亚马逊的商品,如果许多商品用户看不到,就卖不掉积压在库存里面;另外就是内容推荐系统,长尾内容得不到展示,会导致一些创作者无法获得流量而离开。
具体案例:目前大部分主流app都集成了推荐系统,包括微信朋友圈部分按照点击率付费的广告(朋友圈的广告还是以品牌广告为主);淘宝天猫京东亚马逊等购物平台首页都有部分位置都是算法推荐的结果,还有购物车和支付完成页面等等地方都有系统推荐的结果;今日头条等新闻推荐系统,即包含新闻文章推荐,广告推荐,还有图集、短视频等;亚马逊买书的时候下面出现的相关书籍等等;网易云音乐首页的推荐歌单。例子太多,此处省略1万个app的名字。
很多人每天都在用,但是并不知道,这些app背后都有一个叫做推荐系统的东西,而且不知道他给公司带来了多少收入。亚马逊的30%几的收入来自于推荐系统(即有超过30%的订单是系统推荐用户购买的商品)。某新闻推荐系统由于政策上的一些要求,打开app默认不是推荐频道,导致各种指标(点击率,停留时长等)跌幅超过一半。根据我的经验,在一个没有算法的系统突然加入一个简单算法,就能够使公司收入翻倍,简单算法进一步优化或者采用更复杂的算法,收入又能增长百分之几十,不过再往后就可能就只有百分之几的提高了,这也是为什么各个大公司都在大量招聘算法工程师的原因。alphago与推荐系统最近,我们公司准备把应用在alphago zero上的强化学习技术应用到推荐排序上来。非算法的朋友可能会问,下围棋的算法怎么能够应用到推荐排序、广告ctr预估上呢?
进一步解释:下围棋是将所有可以落子的地方的概率算一遍(围棋落子可能性太多,所以alphago只选择一部分可能落子的地方进行计算概率),然后选择胜率(获胜概率)最大的地方落子。这个过程就是在一个有限的空间里面(棋盘大小固定,可落子的地方有限),去搜索一个最可能赢琪的地方落子。
推荐系统(包括推荐新闻、广告、商品等等)也是做类似的事情,即在系统所有的item [新闻、音频、视频、广告or商品] 中(系统中item太多,跟alphago一样,只选择一部分的文章出来计算概率),然后计算单个用户对每篇文章点击的概率进行排序,最终得到用户看到的排序结果。
为了尽可能讲述简单,很多步骤都被简化了,比如在模型算出点击率的排序之后还需要rerank等等。
一个算法就能够解决大部分人工智能场景的应用(alphago下围棋、广告点击率预估,图像识别,推荐排序,情感识别,标题党黄色内容识别等等)。如果你能够掌握各种好的思维模型,就能够很好处理工作中的大部分问题,甚至是你之前没有遇到过的问题。
聪明人喜欢用思维模型聪明的人总是喜欢找各种思维模型,然后将其应用到各种现实中的场景。
比如达尔文的“进化论”,不仅用来解释地球上生物的演化,还用来解释个人、公司、组织、国家等的发展。
由热力学第二定理产生的最大熵、信息熵等理论被用来解释物理的封闭系统、经济发展、对冲基金的运作、投资理财、区块链、人工智能等方向。人工智能有算法模型先理清楚人工智能、机器学习、深度学习之间的关系。
机器学习:一种实现人工智能的方法
深度学习:一种实现机器学习的技术目前,人工智能研究方向主要集中在机器学习领域,更进一步说,是集中在深度学习的研究上。
而人工智能中的算法模型,即希望一个算法可以应用到各种应用场景,比如广告的点击率预估,搜索引擎排序、机器翻译、语音识别、图像识别、推荐系统排序、下围棋(alphago)等各种场景。现在的任意一种人工智能算法都可以应用于上面的大部分甚至所有的场景,不过在不同的场景,不同的算法效果上有较大的差别。文章出自:锚与帆