NeurIPS 2019

 新闻资讯     |      2019-12-17

12月17日报导

2019年12月8日至12月14日,微众银行首席人工智能官杨强教授受邀参加于加拿大温哥华举行的人工智能和机器学习范畴的世界尖端会议:神经信息处理体系大会(Conference and Workshop on Neural Information Processing Systems,简称NeurIPS)。在微众银行联合谷歌、卡内基梅隆大学举行的联邦学习世界研讨会上,杨强教授以《Federated Recommendation》为主题,同享了微众银行创始的联邦引荐技能的最新研究成果和运用落地。

1576575911269998.jpg

微众银行首席人工智能官杨强教授宣布讲演

引荐体系运用广泛,现已渗透到人们日子各个方面,例如新闻引荐、视频引荐、产品引荐等。为了完结精准的引荐作用,引荐体系会搜集海量用户和所引荐内容的数据,一般来说,搜集的数据越多,对用户和引荐内容的了解就越全面和深化,引荐作用越精准。在实际场景中,跟着用户数据安全和隐私维护相关方针相继出台和日益完善,这些数据一般为维护用户数据隐私而以“数据孤岛”的办法涣散在不同的组织。因而在“数据孤岛”与“隐私维护”的实际问题中,在合理合法的前提下运用数据持续优化作用供给优质服务,是当时引荐体系所面的巨大挑战和首要使命。

FATE:首个支撑联邦学习架构体系的工业级联邦学习开源结构

微众银行在“数据孤岛”和“隐私维护”问题上,是业界的引领者,它提出的联邦学习处理计划能够让多个组织一同协作,通过交流加密的模型参数进行归纳练习持续优化模型,以合理合法的办法跨过数据距离,处理“数据孤岛”的问题。微众银行开发的工业级的联邦学习开源结构--FATE(Federated AI Technology Enabler,https://www.fedai.org),作为联邦学习全球首个工业级开源结构,支撑联邦学习架构体系,为机器学习、深度学习、搬迁学习供给了高功能联邦学习机制,FATE自身还支撑多种多方安全核算协议,如同态加密、隐秘同享、哈希散列等,具有友爱的跨域交互信息管理计划。

联邦引荐:微众银行初次将联邦学习运用于引荐场景

引荐体系中算法的方针是发掘用户和内容、产品之间的联络,依据问题的特色,微众银即将联邦引荐算法总结成三类,如下图所示,包含横向联邦引荐算法(也可称为根据产品的联邦引荐)、纵向联邦引荐算法(也可称为根据用户的联邦引荐)和搬迁联邦引荐。

9481576575593_.pic_hd.jpg

9471576575592_.pic_hd.jpg

联邦引荐算法分类

纵向联邦引荐(即根据用户的联邦引荐)首要处理参加方(组织)具有很多相同的用户可是不同的产品或用户特征时怎么协作构建引荐体系的问题,例如新闻引荐服务商和视频引荐服务商的联邦,或许引荐服务商和用户数据供给商的联邦。横向联邦引荐(即根据产品的联邦引荐)首要处理在参加方具有很多相同的产品可是不同用户集体时怎么协作构建引荐体系的问题,例如不同区域相同引荐服务之间的联邦。搬迁联邦引荐首要处理参加方在相同用户和产品都不多的状况,怎么协作同享经历构建引荐体系的问题。

针对不同的分类,根据当时引荐体系最常用的矩阵分化(matrix factorization)和因子分化机(factorization machine)算法,微众银行提出联邦矩阵分化、联邦因子分化机等算法。这些联邦引荐算法根据FATE结构开发,运用一致的优化流程。以纵向联邦引荐的两个场景为比如,给咱们介绍纵向联邦矩阵分化和纵向联邦因子分化机的思路和优化办法。

联邦引荐场景一:参加组织为很多相同用户别离供给书本和电影引荐服务

具有相同观影爱好的用户很可能有相同的阅览爱好。因而两边的联邦对错常有必要的,结合两边数据构建的引荐体系在功能上会优于只是运用一方数据构建的体系。

9461576575591_.pic_hd.jpg

纵向联邦引荐场景一,多个参加组织为很多相同用户供给不同引荐服务

在这个场景下,以常用的矩阵分化为比如,给出纵向联邦引荐的一个处理计划,咱们让两个参加方在组织内部别离进行矩阵分化,将用户在产品上的评分矩阵分化成user profile和item profit的乘积,如下图中的公式所示:

9451576575590_.pic_hd.jpg

纵向联邦矩阵分化示意图

其间user profile由两边同享,为此咱们引进一个可信的第三方server来维护同享的user profile,并协助各方引荐算法的构建 (在这里需求阐明的是,在最新的FATE技能中,可信的第三方能够去除,根据加密技能以及屡次通讯,两边在安全可靠的办法下进行参数同享)。算法的优化流程如下图所示:

9441576575589_.pic_hd.jpg

纵向联邦矩阵分化优化流程

首要由server初始化user profile并加密,参加方别离初始化自己的item profiles

Server将加密的user profile发送给参加方

参加方解密user profile并更新自己的item profile;一同核算user profile的梯度,加密后发送给server

Server汇总接收到user profile梯度,在密文状态下更新user profile。

重复进程2-4,直到收敛

从更新进程,咱们能够看出,参加方的数据彻底保持在本地,两边仅交流user profile参数,一同server也是在密文环境下操作两边核算出来的user profile梯度,对内容不知情,不存在隐私走漏危险。最终,两边都有了自己的模型,并且模型是结合两边的数据优势后一同构建。

联邦引荐场景二:参加组织为引荐服务供给方和用户数据供给方

以书本引荐服务商和用户爱好数据供给商的联邦为例,书本引荐服务商对用户了解越深化引荐越精准。数据服务供给商在合理合法的前提下,进一步扩展数据的运用价值。

9431576575588_.pic_hd.jpg

纵向联邦场景二示意图

在有用户特征的场景下,穿插特征对引荐体系作用的提高协助非常大,例如穿插区域特征和运动爱好特征,能够给不同区域有不同运动爱好的用户引荐适宜的明星列传。因子分化机(factorization machine)是引荐范畴处理特征穿插的较常用算法。在联邦引荐场景下,咱们提出联邦因子分化机,如下图所示,在数据不出本地的状况下,一同完结参加方内部的特征穿插和参加方相互之间的特征穿插。

9421576575587_.pic_hd.jpg

纵向联邦因子分化机示意图

联邦因子分化机的优化进程如下图所示,

首要参加方初始化自己的模型

参加方别离核算部分预估成果,部分丢失值,部分特征的梯度等中心成果,加密后传送给对方

两边将加密并参加掩码的梯度发送给server

Server解密带掩码的梯度汇总后发送给参加方

参加方去除掩码并更新模型

重复进程2-5,直到模型收敛

9411576575586_.pic_hd.jpg

纵向联邦因子分化机优化流程

通过联合建模,参加方别离得到部分练习好的联邦FM模型,当对新样本进行猜测时,需求两方一同完结猜测使命

第一步,A、B两边各自完结自身中心成果的核算,加密并传到服务器

第二步,服务器聚合两边中心成果,解密得到猜测值

第三步,服务器将猜测值发回给A方进行引荐

引荐体系是数据驱动的,数据对作用的提高有很大协助。在运用数据的进程中,怎么有用的维护隐私和安满是急需处理的问题。微众银行在该方向上做了开始的探究和运用,一同,也在活跃推动关于联邦学习国家和世界标准的树立。杨强教授表明,咱们会持续开源咱们的东西,与业界共铸联邦学习敞开生态。

推行:猎云银企贷,专心企业债务融资服务。比银行更懂你,比你更懂银行,概况咨询微信:zhangbiner870616,现在仅注册京津冀区域服务。