“把人工智能在机构中用起来”

——O'Reilly人工智能大会正在，截止日期11月7日。

编者注：想了解更多的使用深度学习来开发数字化体验的内容，请查看Danny Lange在2017年9月17-20日人工智能旧金山大会上的议题《使用深度学习给游戏、VR和AR带来生命》。 

更多人工智能内容请关注2018年4月10-13日人工智能北京大会。

游戏开发是一个复杂且劳动密集型的工作。游戏的环境、故事线和人物个性都需要被仔细地构建。这需要视觉艺术家、编故事的人和软件工程师一起密切协作才能完成。通常，在传统编程的形式下，游戏会有一套专门编写的行为；或是在有大量规则组合的形式下，会以更加有反馈的行为来构成。在过去的几年间，数据密集的机器学习解决方案已经在企业（比如Amazon、Netflix和Uber）里消灭掉了基于规则的系统。在Unity，我们已经在探索使用这样的一些机器学习的技术，比如用深度学习做内容构建，用深度增强学习来进行游戏开发。我们已经看到这一波的机器学习和人工智能在游戏领域的巨大潜力。

对于一些数据驱动的大型企业而言，机器学习并不是什么新东西。2007年，当Netflix发起了著名的Netflix Prize竞赛，让最好的协同过滤算法来预测用户对电影的评分时，就是我们现在所体验的对人工智能的大量媒体报道的开端。但是在2000年初，一些大企业就已经在尝试使用数据驱动的决策和机器学习来提升业务了。Amazon已经非常努力地开发他们自己的推荐算法，尝试去发现用户的偏好，进而把这些偏好转化成更高的销售业绩。广告业的技术则是另外一种早期采用机器学习者，机器学习被用来提升点击率（CTR）。在过去的这些年里，机器学习技术已经成熟并扩散到非常多的行业。

例如，推荐算法已经从仅仅通过推荐来探求更多的信息发展到了探索和搜索的组合。这里的挑战是，当Amazon和Netflix使用推荐系统来收集数据时，如果他们仅仅是给用户推荐高得分的物品，而不是他们商品目录里的其他物品，他们获得的是一个不完整的用户偏好。这一问题的解决方案是微妙地从纯搜索变化到添加一些因素来探索。

最近，因为它们内在的可以探索和搜索的特性，诸如上下文老虎机这样的算法变的流行起来。这些算法可以更好地学习到它们还不了解的客户的东西。相信我，在你访问的很多Amazon网页的背后都潜伏着老虎机算法。我们在Unity的博客上有一篇不错的文章介绍上下文老虎机算法的威力。里面有一个对上下文老虎机算法的交互展示。

在2015年初，DeepMind将上下文老虎机算法进一步发展，并发表了一篇论文。其中介绍了一个把深度神经网络和增强学习组合起来的大规模系统。这个系统可以精通Atari的2600个游戏里的很多个，还仅仅只是依靠原始像素和得分作为输入就能取得超越人类的水平。DeepMind的家伙把探索和搜索的概念变成了兴奋剂。虽然上下文老虎机在学习行为上还比较得浅，但深度增强学习则能够学习一系列的行为用以最大化未来的累积收益。换句话说就是，它们可以学习优化长期价值（LTV）的行为。在一些Atari的游戏里，LTV通常是只有人类玩家掌握的一些策略发展。看这里的一个Breakout游戏的视屏来了解这种策略发展的例子。