2021 年伊始，旷视研究院正式推出“AI 飞跃”计划，以科技务实的精神，助推高校和旷视在 AI 领域共同成长，用人工智能造福大众，飞跃梦想，看见并释放世界的价值！

计划介绍

旷视自 2011 年成立以来，潜心在 CV 领域深耕，构建完整的 AIoT 产品体系。10 年的积累，让我们深入了解 CV 领域技术发展以及产业实践中的问题。现旷视将在“AI 飞跃”计划中，公布具有挑战性的前沿科研项目和产业实践问题，诚挚邀请相关研究领域的同学加入，共同探索，攻破难题。

在该计划中您将拥有 CV 领域顶尖导师的指导，与您在科研领域共同精进，将研究课题与真实产业结合，收获有影响力的顶会论文和科研突破，让亿万级用户感知和体验，产出有价值的研究成果！赶快加入吧！

计划亮点

大咖企业导师 1V1 亲自指导

解决工业界一手问题，落地理论

聚焦您的科研方向，助力发表国际顶会

浓厚学术氛围，随时随地与大牛交流学术

申请资格

• 国内外硕士、博士在读学生；延期或间隔年学生

• 有意愿参加企业技术升级的学生，对于研究和实践结合有浓烈兴趣，动手和实践能力强，思维开阔创新，行为独立且沟通能力强

其他福利

• 与正式实习生同样的工资+餐补+外地住房补贴待遇

• 较高的转正概率

• 充足的计算资源支持

• 系列技术培训课程，与领域技术大牛零距离交流，帮助你完成从实验室到工业界的无缝衔接

评选流程

符合条件的学生请根据各课题介绍、企业导师信息，选择项目申请，并在规定时间内填写申报表并上传简历

• 2021 年 4 月 6 日 项目发布，申请开始

• 2021 年 4 月 30 日 申请截止，启动评审

• 2021 年 5 月中旬 评审截止，发布结果

项目进行过程中的具体时间节点，请关注项目组通知

还在等什么？

????

一、算法类

01

软硬一体化方向

• 导师介绍：鲜于海舒，旷视研究院 Face 组定制化小组组长，毕业于清华大学数理基础科学班。研究兴趣在于将 CV 领域的深度学习算法与相机成像、硬件芯片结合协同优化，实现端边上的高效、大算力智能硬件。

• 具体课题：

     1、基于检测优化的视频编解码算法

• 描述：CV 算法对图像输入质量非常敏感；现实中图像信息的损失很大部分来源于网络带宽不稳定导致的编码损失。如果可以在图像编码之前进行检测，根据检测算法结果，对图像中关键、重要部分采用更高的压缩精度，对图像中背景、不重要部分采用较低压缩精度，有望在不损害算法效果的前提下，视频带宽压缩到 1/3。

• 加分项：有编解码算法经验 or 有检测算法经验

• 时间要求：6 个月及以上

  2、基于检测优化的 ISP LTM 算法

• 描述：Local Tone Mapping (LTM) 是图像信号处理（ISP）算法中的重要部分，在逆光、高动态场景下的图像效果提升有很大的影响。如果能够在 LTM 之前进行检测，根据检测算法结果在 LTM 中保证图像中关键、重要部分的 Tone Mapping 效果，可以避免视频中人脸、文字等重要部分的欠曝光、过曝光现象。

• 加分项：有图像信号处理（ISP）算法基础 or 有检测算法经验

• 时间要求：6 个月及以上

  3、极低比特神经网络优化

• 描述：低比特神经网络模型是目前加速神经网络运行效率的基本手段之一。目前对于 8bit 量化算法已经比较成熟，但当 bit 数降低到 4bit/2bit 甚至 binary 时，量化算法呈现出掉点严重、训练不稳定、泛化性差等现象，且训练周期较长、训练开销较大。如何优化这些现象，助力大算力模型在端边上的实现，是我们希望尝试解决的。

• 加分项：有检测或分类算法经验 或有 pytorch 使用经验

• 时间要求：1 年及以上

02

半监督方向

• 导师介绍：黎泽明，旷视研究院基础检测组负责人，硕士毕业于清华大学。在 CVPR, ICCV, ECCV, NeurIPS, AAAI 等会议上发表论文十余篇。曾在物体检测的著名挑战赛 COCO 上作为主力取得了 3 连冠，并获得比赛的最佳论文奖，在 CVPR19 的 DIW 挑战赛中担任评审委员。研究兴趣主要集中在自/半监督、物体检测和高效的模型设计, 并在旷视主导研发了检测的代码仓库。

• 具体课题：

     超越 supervised 的自/半监督算法研究

• 描述：不利用或少利用 label 信息做预训练，在分类和下游任务（不止于检测、分割、关键点），大幅超过以往 ImageNet 的有监督预训练。

• 加分项：有深度学习炼丹经验、良好编程能力的优先

• 时间要求：1 年及以上

03

时空大数据聚类方向

• 导师介绍：杜佳慧，2018 年硕士毕业于北京交通大学信息科学研究所，研究兴趣包括表征学习、异构计算下的神经网络设计、城市级别大规模数据计算等。曾获美国国家标准与技术研究院（NIST）人脸识别 Face Recognition Vendor Test (FRVT) 1:1 verification 第一，获首届中国人工智能大赛人脸识别 A 级证书。

• 具体课题：

     复杂网络理论及其在面部聚类中的应用

• 描述：希望利用图学习的方法在一定程度上提升面部聚类效果。

• 加分项：有复杂网络研究、聚类、检索相关经验优先

• 时间要求：1 年及以上

04

面部识别方向

• 导师介绍：

• 谢津，旷视 Face 组服务器识别算法负责人，高级研究员。2015 年本科毕业于清华大学，2018 年获得清华大学和法国马赛中央理工大学硕士双学位。带领算法团队为旷视城市大脑、智慧园区产品提供高精度面部识别、聚类、检索算法。研究兴趣包括度量学习、在线学习、大规模集群训练、图神经网络等。

• 刘宇，旷视研究院 Face 组彩虹糖小组组长，本硕毕业于清华大学交叉信息研究院。重点研究比较成熟的技术并将其应用到业务落地当中，目前主要兴趣集中在面部识别任务中的模型设计、采样策略与知识蒸馏。

• 具体课题：

     1、Context based feature learning

• 描述：目前面部识别的主流方法，几乎都是基于”样本对“来进行训练的，推理过程中计算相似度也只使用了两个样本的特征。我们希望在训练和推理过程中用上数据集上其它数据（Context）的信息，提升算法精度。

• 加分项：有面部识别、聚类、检索相关经验优先

• 时间要求：1 年及以上

     2、Unsupervised domain adaptation

• 描述：AI 算法实际应用中，训练集的数据分布和实际应用的数据分布常常有较大差异。在训练集上训练得很好地算法，在实际应用中效果可能大幅低于预期。一种解决方法是，在算法部署后根据实际场景数据进行线上无监督的训练，从而提升目标场景算法性能。本课题希望在面部识别问题上，研究 Unsupervised domain adaptation 方法， 以解决上述问题。

• 加分项：有面部识别、聚类、检索相关经验优先

• 时间要求：1 年及以上

     3、遮挡场景下的面部识别研究

• 描述：希望在人脸相似性度量的基础上，用神经网络学习一个不确定性度量，增强算法在遮挡人脸上的鲁棒性。

• 加分项：有人脸识别、reid 等相关经验优先

• 时间要求：2 年及以上

二、工程类

具体课题 

全图优化策略探索

• 导师介绍：王彪，旷视天元框架 MegEngine 组架构师，毕业于中科院计算技术研究所，负责天元框架底层优化加速以及 AI 编译技术探索。

• 描述：卷积操作是目前 CNN 中最重要的算子之一，但是不同平台不同shape 下最优的 layout 可能是不一样的，如 NVIDIA 平台下的量化类型默认是 NCHW4，而为了使用 tensorcore 加速，则需 NCHW32， NCHW4 和 NCHW32 互转会引入额外开销，而且如果不满足 32 的倍数情况下，还需要引入 padding 开销，导致局部状态下无法准确评估单层卷积最优的运行参数，为此需要在全局状态下找出最优解。

• 加分项：有 AI 算法经验或深入了解体系结构

• 时间要求：1 年及以上

报名方式

扫描下方二维码，填写报名表格

沟通交流

有任何相关问题，添加【旷视研究院小姐姐】微信，回复“联合培养”，即可与我们零距离接触哦！

????