最新公告
  • 欢迎您光临欧资源网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • 北京金融科技产业联盟秘书处与中国银联联合推出的线上直播栏目第三期

    6月23日,由北京金融科技产业联盟秘书处与中国银联联合推出的第三期线上直播节目《金融科技慕课学院》上线。在本次直播中,深圳市前海微众银行股份有限公司人工智能高级研究员范涛介绍了如何在满足用户隐私保护、数据安全和政府规定的前提下,使用联邦学习技术开展跨组织数据合作,分享全球首个工业级联邦学习开源项目的建设经验。

    商业背景

    人工智能的发展经历了许多周期。2012年左右开始在中国发展,至今已取得突破。在十九届四中全会上,中共中央首次提出“以数据作为生产要素参与收入分配”。显示了数据在当今时代的重要性。

    2009年至今,国家对数据的监管趋严,呈现出从严、全面、集约的特点,即数据监管趋严,处罚趋严;保护级别已从个人信息数据扩展到科学数据和医疗数据。、电子商务数据等;数据监管法律法规将进一步出台。

    传统数据合作存在一些障碍。一是数据交易风险高,没有隐私保护。即部分传统企业通过购买第三方数据进行数据合作,但无法保证数据来源是否安全、准确、可靠。二是边缘样本或脱敏样本建模效果差,即合作企业对数据脱敏进行数据合作建模,或者合作企业只提供部分边缘数据样本,无法保证建模效果,没有影响在业务上。实际指导。三是只有建模效果的融合,没有数据合作,即参与合作模型的各方独立,最后融合建模结果。

    目前的数据合作也存在一些困难。一是跨部门数据合作受阻,即传统的线下数据购买和联合建模方式受阻,安全合规存在风险。信心危机。其次,在一个组织内部很难建立跨部门的数据中心,即虽然每个部门都知道数据的价值,并寻求与其他部门的数据合作,但他们不愿意透露自己业务的核心数据。

    数据是一种生产资料,是近年来推动人工智能发展的重要因素。人工智能是发展的突破口。联邦学习是一种新的生产关系,它改变了传统数据的使用方式。

    横向联邦学习

    横向联邦学习在C端和B端都有合适的应用场景。以微众与合作银行共同构建反洗钱模型并期望优化反洗钱模型为例,设置Y表示是否存在洗钱时,合作银行和微众有X和Y,但双方均未公开自己的X、YY,如果使用传统的建模方法,存在微总和合作银行样本不足的问题。预期结果是在保护隐私的情况下建立联合模型,联合模型的效果超过单边数据建模。

    横向联邦学习的每个参与者都具有相同的数据特​​征(包括数据标签),不同的数据索引/ID,参与者之间无需交换信息,FedAvg 算法,以及对深度学习(深度神经网络)的良好支持。

    横向联合最典型的应用是视觉场景,面临标签数量少、数据分散、集中管理成本高、模型更新和反馈离线延迟等挑战。通过横向联邦学习,无需集中上传数据即可实现在线模型更新和反馈,有利于数据保护和隐私提升。

    微众银行与腾讯天眼实验室联合将联邦学习与医疗融合,中风预测准确率达到80%。双方基于联邦学习建立了卒中患病率预测模型,其中包括来自三个三级医院和两个小型医院的住院过程数据和体征数据。在效果上[56] 刘美俊 基于改进学习算法的模糊神经网络控制系统,基于联邦学习的联合模型优于任何医院数据的独立建模效果。

    垂直联邦学习

    垂直联邦学习在中国具有非常重要的场景应用价值。说到垂直联邦学习,首先要普及一些密码学的知识。同态加密是垂直联邦学习中一项非常重要的技术。分为全同态加密和半同态加密。Paillier 项目中使用了半同态加密。

    知乎上有一篇文章可以可视化同态加密。总结是一个叫 Alice 的用户买了一大块金子。她想让工人们把这块金子做成项链,但工人们正在制作过程中。有可能偷走黄金。考虑到这一点,有没有一种方法可以让工人在金条上工作,但不能得到任何黄金?爱丽丝可以做到这一点:她把金子锁在一个密封的盒子里,然后在盒子里放一只手套。工人戴着手套可以处理盒子里的黄金,但由于盒子是上锁的,工人不仅拿不到金块,就连加工过程中掉下来的金子也拿不走。处理完成后,Alice 拿回盒子,打开锁,得到所有的金子。基于同态加密技术,对应关系为:盒子是加密算法,盒子上的锁是用户密钥。将金块放入盒子并加锁,可视为采用同态加密方案对数据进行加密。处理环节是在利用同态特性无法得到数据的情况下,直接对加密结果进行处理。解锁环节是对结果进行解密,直接得到处理后的结果。

    多方安全计算是垂直联邦学习的另一种技术。它包括多个分支,秘密共享就是其中之一,有利于保护用户数据的隐私。除了以上两种主流技术,垂直联邦学习还包括无意传输协议等技术。例如,Alice 有两条消息 M0 和 M1。Bob 想要 Alice 手中的 M0 信息,但不希望 Alice 知道他已经拿走了 M0 消息。这可以通过无意的传输协议来实现。

    垂直联邦学习最典型的需求场景是联合建模。以微众与合作企业联合建模,微众有Y(经营业绩),期望优化自身的Y预测模型。隐私X,如使用传统的建模方法,合作企业缺少Y,无法独立建模,将全X数据传输给微众是不可行的。预期的结果是在保护隐私的条件下建立联合模型,联合模型的效果超越了单方面的数据建模。

    纵向联邦学习中的每个参与者都有相同的数据 ID 和不同的数据特​​征(有些参与者可能没有标签)。参与者需要交换中间结果,支持XGBoost/SecureBootst等模型,通过拆分学习支持神经网络模型。大型垂直联邦系统更为复杂。

    隐私保护样本id匹配时如何求交集:X∩Y=[u1, u2, u3]?需要满足甲方不知道乙方有u5、乙方不知道甲方有u4的条件。解决方案是RSA+哈希机制的安全交集方案。

    [56] 刘美俊 基于改进学习算法的模糊神经网络控制系统_刘世美喜欢都敏俊_[56] 刘美俊 基于改进学习算法的模糊神经网络控制系统

    纵向逻辑回归是在数据分散时学习每个模型的梯度和参数。

    SecureBoost实现了梯度提升树模型的多方协同构建,应用广泛。

    垂直联邦学习在很多方面得到了有效应用,比如建立基于FATE的联邦数据网络,提高银行业的风控/反欺诈能力,即银行和更多的金融机构/企业和大型互联网公司共建联邦数据合作网络,帮助银行及各类金融企业实现金融风控能力建设,提升业务量和业务效率,满足风控监管要求。现已覆盖金融反欺诈、贷前风控、贷后监控等金融场景。联邦数据伙伴关系。

    又如基于FATE建设联邦智能协同中心,实现跨组织客户资源协同。即通过联邦智能数据合作与协作中心,集团内不同业务子公司开展大数据合作,精准分析集团现有客户,更有效利用集团内部客户资源,充分发挥集团的数据价值。不同业务领域,通过联合建模构建更强大的推荐服务,实现精准交叉营销。

    FATE 开源社区

    FATE引领联邦学习行业发展,为行业做出贡献。

    截至目前[56] 刘美俊 基于改进学习算法的模糊神经网络控制系统,FATE项目已涉及900多家机构,覆盖2200名微信社区用户。FATE与腾讯、VMware、银联、建行、工行、农行、光大科技等共同建立社区TSC,共有16名维护者,共同运营FATE开源社区,提升行业影响力;此外,FATE成为腾讯云安全联邦学习产品、腾讯云神盾产品、京东、银联等公司的联邦学习产品的基础框架。

    微众联邦学习产品系统通过“信息安全等级保护”三级备案,并通过“大数据·联邦学习数据流通产品”、“大数据·多方安全计算数据流通产品”认证,以及中国信息通信研究院的“联邦学习评价专题”。,并完成了国家金融科技评价中心(银行卡检测中心)的多方安全计算金融应用技术评价。

    微众联邦学习产品积极参与标准建设,发布了全球首个与联邦学习相关的国际标准。国内标准方面,参与了信息通信技术研究院标准《基于多方安全计算的数据流通产品技术要求与测试方法》、《联邦学习技术与应用》等标准的编制央行金融标准化委员会《多方安全计算金融应用技术方案》标准。参与制定金融行业标准《联邦学习金融应用与互联标准规范》,

    和很多其他相关技术架构一样,FATE技术架构的底层是Tensorflow/Pytorch(深度学习)、EggRoll/Spark(分布式计算框架)和多方联邦通信网络,上层是联邦安全协议,并在安全协议的基础上构建联邦学习算法库。FATE聚焦实际场景,在技术架构之上构建了联邦区块链、联邦多云管理、联邦模型可视化平台、联邦建模流水线调度、联邦在线推理等。

    FATE联邦算法组件已经发展到30多个,实现了主流工业场景算法全覆盖和主流工业多方安全计算协议全覆盖,涉及数据输入输出、垂直联邦统计、垂直联邦特征工程、垂直联邦学习算法,横向算法解决方案,例如联邦学习算法,模型评估和安全计算。

    在端到端的联邦建模工作流管理方面,FATE-Flow为FATE提供端到端的联邦建模流水线调度和管理,主要包括DAG定义的联邦学习流水线、联邦任务生命周期管理、联邦任务协同调度、联邦任务跟踪、联邦模型管理等功能实现了联邦建模与生产服务的一体化。FATE Board 是用于联邦学习建模的可视化工具。它为最终用户可视化和测量模型训练的整个过程。FATEBoard由任务仪表板、任务可视化、任务管理和日志管理模块组成。统计和监控等,提供丰富的可视化呈现。

    FATE Serving为FATE提供联邦在线推理服务,主要包括实时在线预测、集群管理与监控、在线模型管理与监控、服务治理等功能。具备高性能、实时资源监控、生产级服务保护等核心优势。FATE Cloud具有三个核心功能,一是站点注册和管理,二是自动化部署和升级,三是权限管理。

    FATE Chain 是用于联邦学习的区块链网络框架。在满足多方数据隐私、安全和监管要求的前提下,融合联邦学习和区块链,提供去中心化应用。通过分布式存储和运行,保证极高的透明度和安全性,使数据管控满足不可篡改、可追溯、可审计的要求,实现联邦多方点对点合作和合规有序发展.

    【加入FATE开源社区,获取视频播放链接】

    站内大部分资源收集于网络,若侵犯了您的合法权益,请联系我们删除!
    欧资源网 » 北京金融科技产业联盟秘书处与中国银联联合推出的线上直播栏目第三期

    常见问题FAQ

    免费下载或者VIP会员专享资源能否直接商用?
    本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
    提示下载完但解压或打开不了?
    最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。若排除这种情况,可在对应资源底部留言,或 联络我们.。
    找不到素材资源介绍文章里的示例图片?
    对于PPT,KEY,Mockups,APP,网页模版等类型的素材,文章内用于介绍的图片通常并不包含在对应可供下载素材包内。这些相关商业图片需另外购买,且本站不负责(也没有办法)找到出处。 同样地一些字体文件也是这种情况,但部分素材会在素材包内有一份字体下载链接清单。
    欧资源网
    一个高级程序员模板开发平台

    发表评论