抛弃爬下来的灰色数据,有门槛的风控怎么做?_大数据中的灰色数据?-程序员宅基地


大数据文摘作品

作者:魏子敏


金融风控领域的竞争在今年忽然激烈起来。众多初露头角的企业,正在这两个方向展开厮杀--数据获取能力和算法技术。


就在几个月前,前一个赛道开始堵塞。


今年6月,《网络安全法》开始实施。未经授权爬取用户手机或者社保记录,公司法人将依法获刑,最高七年;一批以数据交易为主要业务的公司也正面临调查。


一大波依靠外部数据整合进行风控和反欺诈的企业前景模糊,算法和建模能力在这个领域的重要性渐渐凸显出来,技术起家的一批风控公司开始显露头角。


而失去了灰色数据的金融风控行业,尽管技术上仍旧面临挑战,但似乎终于有机会朝着健康合规的方向发展。


艰难的角逐:算法还是数据?


加州大学伯克利分校计算机博士、清华大学交叉信息研究院兼职教授黄铃用“一场全球范围的战争”来形容自己的工作。”在风控这个行业,我们的对手是一条全球范围的巨大黑产链条。”


慧安金科创始人兼CEO、加州大学伯克利分校计算机博士、清华大学交叉信息研究院兼职教授黄铃


从源头上来说,风控面临着遍布全球的黑客对手。他们通过软件入侵手机和计算机,一方面获取隐私数据,另一方面利用这些“肉机”开通假的账号,去做各种虚假的社交、购买互动,“养”出一个个看似正常、有很多朋友关系,并且有良好购买行为的账号,用它去申请使用各种金融产品。


而金融风控的核心就是利用相关数据做建模分析,剔除虚假用户,再对真实用户做还款能力、还款意愿的风险评估。


近几年兴起的大数据风控公司完成这一工作主要依靠两个层面的能力:算法能力和数据获取能力。


目前,面对巨大的团伙化、专业化的黑产链条,市面上已有的风控和反欺诈解决方案在算法技术上仍略显逊色。方案提供商往往使用设备指纹、黑/白名单、规则系统或者有标签的机器学习模型等来检测欺诈活动。有些方法只做了浅层分析,很容易被恶意对手规避和欺骗。还有些用到了机器学习方法,但往往都依赖有标签的历史数据来训练模型。这些标签数据往往稀少,而且只能代表过去发生的欺诈活动,用这些数据训练出来的模型准确度都不够高,很难应付日益变化的欺诈手段。


还有一大批风控公司主要依靠强大的数据获取和整合能力。但通过爬虫、购买等方式,这些被整合的数据严格来说包含了一大部分个人的隐私数据:身份证、电话号码、银行卡、个人存款、家庭具体位置。行业内现有的解决方案极大的依赖这些数据,它的使用严重侵犯了个人的隐私,合法性备受诟病。但数据量级对建模准确度有巨大的影响,这些敏感数据去掉之后,就更加考验对算法的实现能力。


风控数据的获取:量级还是场景更重要?


那么,算法的精进可以弥补放弃大量敏感数据造成的损失么?


上个月,大数据文摘在纽约对恒昌集团CFO沈潇同(Tony Shen)进行了独家采访,他认为,在使用非直接与借贷行为或信用行为相关的数据时,我们应该持比较审慎的态度。


“有些人频繁网购,但可能正因为他频繁网购会导致他不够钱需要去借,所以网购的即时支付并不一定能反应他是一个有信用的人,反而会因此在贷款时不讲信用。”’


社交和网购数据虽然有参考价值,但是未必比与这些直接与金融相关的数据更有用。沈的态度代表了传统金融人对于互联网风控的一贯谨慎态度,也体现了这个行业普遍面临的一个问题,在风控数据的获取上,到底是数据量级还是数据场景更重要?


在这个问题上,黄铃显然更支持后者,”我觉得要看我们谈什么样的数据以及如何使用它们,爬来的那些数据不见得在这里能够起到多大的作用。要针对客户的数据、客户的应用场景,帮它们去挖掘,要更精准、更贴近它的东西。“



金融风控的核心客户是互联网企业、互联网金融企业以及金融机构。这些机构的共同点在于存在大量的账号。以账号为中心,可以获得很多个人信息,比如银行存款、购买历史、借贷情况等,而风控的工作就是,根据这些数据记录进行建模,对每个账号做还款能力、还款意愿等方面的风险评估,从而决定给这个人多少贷款等。


黄铃认为,基于脱敏数据对用户行为的建模,也可以实现风控反欺诈的目的。“在进行行为分析的时候,一般是看这个人的社交关系、电话通迅详单、电商购买等行为,这个行为指的是这个账号从什么地方使用什么设备在什么时间注册和登录,在登录之后做了什么事情(浏览了什么页面,购买了什么商品,加了什么人做好友,和谁进行了通话等),虽然也会有一些敏感的信息,比如你的朋友是谁,但这些数据是经过了脱敏处理的。在此基础上,基于图算法进行用户关联分析,识别用户之间隐秘但互相关联的信息和行为。”


黄铃和他的团队慧安金科也正在进行相应的尝试:


“我们自己几乎不拥有任何用户的敏感数据,我们更重要的用一些非敏感的数据,针对我们客户拥有的那些行为数据,结合客户的应用场景,用人工智能大数据的方法帮助客户挖掘它自己数据的价值,在它的场景下生成出最适合它的风险控制模型,帮它达到在它自己的平台上最好的检测结果。这样就可以在不侵犯个人隐私、无需预知欺诈的类型和特点的前提下,自动地在成千上万的用户中识别不正常的关联,从产生预测性的风控信号,防范团伙性和系统性风险。”


重新定义风控:从数据源头开始


这样的数据获取方式也对企业的数据提出了更加严格的要求。


“其实在我们做风向控制模型,第一个环节看的就是数据的质量如何,包括这个数据是不是有缺失,数据内容是不是包含和风险相关的信息等各种因素。”


黄铃认为,风控不止是发生在建模和检测的时候,在企业端,从数据的采集端已经发生了。慧安金科在与客户打交道时,会从服务的角度帮组客户提升相关方面的能力:


首先,风控信号输出到客户平台后,平台可以把风险值高的那部分用户直接封掉;其它的部分可以当作一些特征维度合并到他们的规则和模型里进一步加工和提炼,再做下一步的处理。



此外,针对数据采集,以及在数据中发现的欺诈发展趋势、模式,每隔一段时间给出反馈。


这两者会同时进行,如果有一些数据质量不达标,必须要求客户先去修改,再及时反馈出它在某些方面的问题,就算现在弥补来不及,也要尽快把这部分给补起来。”


“我们会根据做反欺诈风控的经验去建议客户如何采集数据内容,所以我们跟客户合作不单单是你有需求,我帮你把欺诈检测出来,我们同时会给客户很多反馈、很多交流。帮助他们从系统业务到数据采集、风控能力方面做一个全方面的顾问和服务。”


金融风控的对手是全球巨大的黑产链条,因此是非常复杂的项目。大热的人工智能和机器学习正被大量引入这个领域,但想把它们用好并不是一件容易的事情。


当前市场不少解决方案主要依靠大量数据的收集,使用规则系统或有监督的机器学习去生成模型。这些方案存在明显不足:这些模型往往是依赖于历史标签数据进行训练。但这些标签往往都是我们遭到欺诈攻击以后才能产生的,是付出血淋淋的代价才能获得的,往往都很稀少。这种标签训练出来的模型质量不够高的,而且这种标签训练出来的模型,往往只代表过去历史上发生过的欺诈行为。当欺诈分子变换新手段的时候,依赖于过去标签训练的模型,往往很难快速、准确地抓到他们,很容易造成巨大损失。


黄铃的团队利用半监督学习方法,使用少量甚至没有标签的数据进行建模,可以大幅度降低获取标签的成本,提高数据使用率,产生更高质量模型。采用主动式机器学习平台,有机的结合人工智能大数据系统超大规模的数据处理能力和风控专家丰富的经验,帮助人工智能系统自动的学习未知的欺诈模式,追踪新的欺诈手段,不断的适应日益变化的环境,从而生成可以对抗欺诈分子机器学习模型,使得欺诈分子很难规避检测。 


风控行业的黑产链条:这是一场全球的战争,中国是更艰难的战场


在金融风控领域和慧安金科有着同样态度的还有一家硅谷的公司——DATAVISOR。2014年起,黄铃辞去了在英特尔研究院任职七年的资深研究员的职位,在DATAVISOR担任创始成员和大数据总监,主持了公司整个机器学习、用户行为分析和信用模型系统。在这里,他见证并参与了硅谷最新一代、也是最有名的,用无监督的方式来做风控方式的成熟。


DATAVISOR官网


黄铃始终相信,在国内做风控其实并不比硅谷容易。反欺诈面对的黑产是一个产业链,这个产业链的团伙在全世界范围内合作的,从这个最上端的安全攻击软件,到用这些攻击软件去全球范围内去控制肉机和手机,到用这些肉鸡和手机去做出虚假的用户来,到用这些用户去做各种欺诈活动而从中获利,这是从东欧到美国到中国到印度一起来合作的一个链条。


所以从某种程度上来就是说风控、反欺诈在全世界是相通的,很多在中国的互联网企业和金融机构也面临着国外的攻击,而在美国的很多攻击也是通过中国、印度、非洲或者东南亚很多国家的人去实现的。


那么,中美之间更大的区别是可能来自政策上和产业发展上:


在美国,信用体系相对健全,所以做欺诈的成本会比较高,很多时候不管银行还是电商,如果发现了欺诈行为,会通过各种途径影响信用分。在中国这方面体系还不够成熟,很多情况下,互联网金融上的一些欺诈行为不会直接反映到央行的征信中。相对来说欺诈成本会比较低,所以某些大范围的欺诈可能在中国甚至会比在美国还要更多、更难对付;


其次,中美之间的产业发展不同,中国的移动应用和互联网金融产业要远比美国规模大,由此围绕着这个产生的各种欺诈活动也会比美国的更多。


“回来了之后,我们发现国内,特别是在金融相关的领域,这种欺诈团伙的的规模更小更狡猾,而且用更多的真人去做出欺诈活动,所以相对来说更难检测,需要用更多的机器学习和人工智能的方法来建模。”黄铃称。


而在这样一场全球化的战场上,精通人工智能算法和计算机安全的科学家的加入,就更显得弥足珍贵。


在谈及创业初衷时,黄铃称,“我在人工智能算法和网络安全领域做了很多年的研发和实践应用,我希望我以前积累的这些技术和经验可以在金融风控和反欺诈领域起到实际的作用,能提供一套系统和服务,为我们的金融和互联网的产品保驾护航,能够给我们的互联网和金融产业实现一个更加安全、诚信和公正的环境。“


除了黄铃,慧安金科的另一位创始人、首席科学家徐葳也来自学界,任职清华大学交叉研究院助理教授。对于AI科学家进入风控领域创业,黄铃认为是一件好事情,可以给有技术,掌握算法,又愿意接地气的科学家一个机会,真正参与进行业内,而不是仅仅当一个螺丝钉。


往期精彩文章

点击图片阅读

大咖丨交通运输部科学研究院:交通运输大数据的基础环境正日益成熟-清数•思享会

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/dzJx2EOtaA24Adr/article/details/78803232

智能推荐

5个超厉害的资源搜索网站,每一款都可以让你的资源满满!_最全资源搜索引擎-程序员宅基地

文章浏览阅读1.6w次,点赞8次,收藏41次。生活中我们无时不刻不都要在网站搜索资源,但就是缺少一个趁手的资源搜索网站,如果有一个比较好的资源搜索网站可以帮助我们节省一大半时间!今天小编在这里为大家分享5款超厉害的资源搜索网站,每一款都可以让你的资源丰富精彩!网盘传奇一款最有效的网盘资源搜索网站你还在为找网站里面的资源而烦恼找不到什么合适的工具而烦恼吗?这款网站传奇网站汇聚了4853w个资源,并且它每一天都会持续更新资源;..._最全资源搜索引擎

Book类的设计(Java)_6-1 book类的设计java-程序员宅基地

文章浏览阅读4.5k次,点赞5次,收藏18次。阅读测试程序,设计一个Book类。函数接口定义:class Book{}该类有 四个私有属性 分别是 书籍名称、 价格、 作者、 出版年份,以及相应的set 与get方法;该类有一个含有四个参数的构造方法,这四个参数依次是 书籍名称、 价格、 作者、 出版年份 。裁判测试程序样例:import java.util.*;public class Main { public static void main(String[] args) { List <Book>_6-1 book类的设计java

基于微信小程序的校园导航小程序设计与实现_校园导航微信小程序系统的设计与实现-程序员宅基地

文章浏览阅读613次,点赞28次,收藏27次。相比于以前的传统手工管理方式,智能化的管理方式可以大幅降低学校的运营人员成本,实现了校园导航的标准化、制度化、程序化的管理,有效地防止了校园导航的随意管理,提高了信息的处理速度和精确度,能够及时、准确地查询和修正建筑速看等信息。课题主要采用微信小程序、SpringBoot架构技术,前端以小程序页面呈现给学生,结合后台java语言使页面更加完善,后台使用MySQL数据库进行数据存储。微信小程序主要包括学生信息、校园简介、建筑速看、系统信息等功能,从而实现智能化的管理方式,提高工作效率。

有状态和无状态登录

传统上用户登陆状态会以 Session 的形式保存在服务器上,而 Session ID 则保存在前端的 Cookie 中;而使用 JWT 以后,用户的认证信息将会以 Token 的形式保存在前端,服务器不需要保存任何的用户状态,这也就是为什么 JWT 被称为无状态登陆的原因,无状态登陆最大的优势就是完美支持分布式部署,可以使用一个 Token 发送给不同的服务器,而所有的服务器都会返回同样的结果。有状态和无状态最大的区别就是服务端会不会保存客户端的信息。

九大角度全方位对比Android、iOS开发_ios 开发角度-程序员宅基地

文章浏览阅读784次。发表于10小时前| 2674次阅读| 来源TechCrunch| 19 条评论| 作者Jon EvansiOSAndroid应用开发产品编程语言JavaObjective-C摘要:即便Android市场份额已经超过80%,对于开发者来说,使用哪一个平台做开发仍然很难选择。本文从开发环境、配置、UX设计、语言、API、网络、分享、碎片化、发布等九个方面把Android和iOS_ios 开发角度

搜索引擎的发展历史

搜索引擎的发展历史可以追溯到20世纪90年代初,随着互联网的快速发展和信息量的急剧增加,人们开始感受到了获取和管理信息的挑战。这些阶段展示了搜索引擎在技术和商业模式上的不断演进,以满足用户对信息获取的不断增长的需求。

随便推点

控制对象的特性_控制对象特性-程序员宅基地

文章浏览阅读990次。对象特性是指控制对象的输出参数和输入参数之间的相互作用规律。放大系数K描述控制对象特性的静态特性参数。它的意义是:输出量的变化量和输入量的变化量之比。时间常数T当输入量发生变化后,所引起输出量变化的快慢。(动态参数) ..._控制对象特性

FRP搭建内网穿透(亲测有效)_locyanfrp-程序员宅基地

文章浏览阅读5.7w次,点赞50次,收藏276次。FRP搭建内网穿透1.概述:frp可以通过有公网IP的的服务器将内网的主机暴露给互联网,从而实现通过外网能直接访问到内网主机;frp有服务端和客户端,服务端需要装在有公网ip的服务器上,客户端装在内网主机上。2.简单的图解:3.准备工作:1.一个域名(www.test.xyz)2.一台有公网IP的服务器(阿里云、腾讯云等都行)3.一台内网主机4.下载frp,选择适合的版本下载解压如下:我这里服务器端和客户端都放在了/usr/local/frp/目录下4.执行命令# 服务器端给执_locyanfrp

UVA 12534 - Binary Matrix 2 (网络流‘最小费用最大流’ZKW)_uva12534-程序员宅基地

文章浏览阅读687次。题目:http://acm.hust.edu.cn/vjudge/contest/view.action?cid=93745#problem/A题意:给出r*c的01矩阵,可以翻转格子使得0表成1,1变成0,求出最小的步数使得每一行中1的个数相等,每一列中1的个数相等。思路:网络流。容量可以保证每一行和每一列的1的个数相等,费用可以算出最小步数。行向列建边,如果该格子是_uva12534

免费SSL证书_csdn alphassl免费申请-程序员宅基地

文章浏览阅读504次。1、Let's Encrypt 90天,支持泛域名2、Buypass:https://www.buypass.com/ssl/resources/go-ssl-technical-specification6个月,单域名3、AlwaysOnSLL:https://alwaysonssl.com/ 1年,单域名 可参考蜗牛(wn789)4、TrustAsia5、Alpha..._csdn alphassl免费申请

测试算法的性能(以选择排序为例)_算法性能测试-程序员宅基地

文章浏览阅读1.6k次。测试算法的性能 很多时候我们需要对算法的性能进行测试,最简单的方式是看算法在特定的数据集上的执行时间,简单的测试算法性能的函数实现见testSort()。【思想】:用clock_t计算某排序算法所需的时间,(endTime - startTime)/ CLOCKS_PER_SEC来表示执行了多少秒。【关于宏CLOCKS_PER_SEC】:以下摘自百度百科,“CLOCKS_PE_算法性能测试

Lane Detection_lanedetectionlite-程序员宅基地

文章浏览阅读1.2k次。fromhttps://towardsdatascience.com/finding-lane-lines-simple-pipeline-for-lane-detection-d02b62e7572bIdentifying lanes of the road is very common task that human driver performs. This is important ..._lanedetectionlite

推荐文章

热门文章

相关标签