&&>&&&&>&&
腾讯云高级工程师于涛：腾讯云大数据与AI实践　 来源：　 作者：
日，由中国信息通信研究院、数据中心联盟主办的“2017大数据发展促进委员会年会”（简称2017数促会）在京盛大启幕。年会广邀大数据行业专家，从年度成果分享、权威白皮书发布、行业发展实践等重要篇章展开大数据行业年度盛宴，以主题演讲、深度对话、圆桌讨论等精彩形式开启大数据产业发展新篇章。
腾讯云高级工程师 于涛
腾讯云高级工程师于涛在下午的大数据技术与应用分会上做了题为“腾讯云大数据与AI实践”的演讲，以下是内容实录：
我是腾讯云大数据架构师，我今天分享的主题是腾讯云大数据与AI实践。
现在整个腾讯云大数据发展，我们内部也经历了非常长的时间，今天下午的分享从四个部分给大家做解释。第一部分是腾讯云大数据与AI简介，整个来讲是腾讯内部大数据的积累、实践以及内容输出的时间轴。第二部分是腾讯云大数据产品的罗列，第三部分是腾讯云AI产品。针对大数据与AI，最早的云基础设施再到大数据到AI，这是一个阶梯化的发展过程。第四部分是腾讯云大数据与AI案例，腾讯云我们内部来讲叫隶属于七个行业feather team，包括政府、民生、金融、互联网、游戏、视频等，对应的是我们现在对外的这些行业。
第一部分，腾讯大数据发展的动力，可以看到这几个数字，第一个是12000+，整个互联网公司来讲，如果从整个集群规模，大家经常说的现在我能够跑的单一集群规模能够达到多少数量级，腾讯可以说是业内最大的，单一集群可以达到12000+，因为腾讯是一家不太会做Pr的公司，我们这个数字，微信很多年以前我们就达到了这样的规模。第二个是日采集数据量，日采集数据量如果从腾讯现在整体来看，已经达到500TB。同时日实时计算次数也达到了3.5万亿，效果广告日曝光次数达到200亿+。腾讯云发展的基石，四个词，第一个是海量数据，第二是技术积累，第三是算法模型，第四是应用场景。这张图最底下，我称之为大规模云端基础设施，如果从基础设施设施层面，比如CPU集群，现在GPU的集群，现在还有一些FPGA集群，还有分布式数据库，还有COS对象存储。再往上我们称之为只有数据加上所谓的这些技术积累，能够对数据进行有效的离线计算、实时计算，最终这些数据通过算法转变为行业的知识，最终应用于行业的应用场景之上。整个的流程也是我们腾讯沉淀下来的基石。海量数据这块，QQ月活跃用户数是8亿，微信月活用户数6亿，其实现在微信月活用户数已经到10亿左右。技术积累，经常说是为了做到统一的大数据平台，让所有的数据算到平台上，我们做多租户，做有效共享，做到安全的机制，腾讯也有自己的方法论，比如数据治理方法论等等，还有一系列的运维工具，腾讯是一家以社交属性著称的公司，腾讯还有另外一个属性，大家在自己手机上经常会看到的，腾讯是一家游戏属性比较强的公司，有很多游戏。游戏最强的比如说在同一时间高并发，对集群维护的能力，这块要求极强的运维能力，这方面也是腾讯积累下来的一个能力。第三个方面是算法模型，从大数据时代发展到现在，大家开始强调大数据，到现在强调人工智能，腾讯在算法层面也有非常深厚的积累，比如AI Lab，所有AI的技术都是在AI Lab里产出，比如应用场景、实时风控、智能语言等场景，这个过程是发展的基石。
关键词： 13,547被浏览194,703分享邀请回答3010 条评论分享收藏感谢收起91 条评论分享收藏感谢收起您好， []|
美东时间周二下午3：45，现役最强大的运载火箭――SpaceX旗下“重型猎鹰”火箭首飞成功。然而，这件事的意义并没有你想象的那么大。作为裙带资本家的马斯克越成功，意味着纳税人花的冤枉钱越多。
刚刚到手的年终奖，少则几千元多则数十万元。长假期间，怎能让这些钱趴在活期存款的账户上呢？
近期全国多个城市都出台了公积金的新规定，快看看新规定对你有影响吗？
宝万之争在今天，也就是6月30日，迎来一个阶段性成果展示——万科在当天的股东大会...
$('.lighting ul').html( html );
//获取财约你数据
getCaiyueniData : function(){
url: 'http://finance.qq.com/crossapi/finance/12243.html',
dataType: 'jsonp',
type: 'get',
jsonpCallback: 'crossCallback_12243'
}).done(function(result){
//if( result.code==='0' ){
var list = result.data,
html = '';
for(var i=0; i 20 ? title.substr(0, 18)+'...' :
html += '\
$('.caiyueni ul').html( html );
// 获取智图派数据
getZhituData : function(){
url: 'http://finance.qq.com/crossapi/finance/14132.html',
dataType: 'jsonp',
type: 'get',
jsonpCallback: 'crossCallback_14132'
}).done(function(result){
var list = result.data,
html = '',
_len = list.length,
len = _len>4 ? 4 : _
for(var i=0; i 20 ? title.substr(0, 18)+'...' :
html += '\
$('.zhitupai ul').html( html );
// 获取视频数据
getVideoData : function(){
url: 'http://data.v.qq.com/videocms/getNewsvideoList.php?ref=pclient&appkey=6UkwV9DeHr9_PC&vsite=finance&ename=finance_jpjm',
dataType: 'jsonp',
type : 'get'
}).done(function(result){
if( result.response.code == 0 ){
var content = result.data.content,
html = '',
for(var i=0; i< i++){
var item = content[i];
if( i==0 ){
html += '\
var play_num = item.play_times ? ''+item.play_times.all+'' : '';
html += '\
'+play_num+'\
$('.video ul').html( html );
// 设置关键词
setKeywords : function(){
$('.keywords').each(function(){
var text = $.trim( $(this).text() ),
arr = text.split(';'),
t=arr.length,
max = t>3 ? 3 : t,
html = '';
for(var i=0; i< i++){
var s = $.trim(arr[i]);
html += '';
$(this).html( html ).show();
// 腾讯微博的分享
tqqShare : function(){
$('.s_weibo').each(function( index ){
$(this).prop('id', index+1);
$(".s_weibo").each(function(){
_MI.ShareArticle2.build($(this).attr("id"));
// 设置时间格式并滚动
hScroll : function(){
$('.hscroll .con').hScroll();
// 设置右侧的广告位
setSideAd : function(){
var $focus_03 = $('#focus_03'),
$l_qq_com = $('#focus_03 .l_qq_com'),
$focus_02 = $('#focus_02');
var timer = setInterval(function(){
if( $l_qq_com.html() != "" ){
$focus_02.html( $focus_03.html() );
clearInterval( timer );
init : function(){
this.hScroll();
this.setZIndex();
// this.getScrollData();
this.setKeywords();
this.getLightData();
this.getZhituData();
this.getCaiyueniData();
this.getVideoData();
this.tqqShare();
this.setSideAd();
$(".remenzhuanti .bd").mCustomScrollbar({
theme:"minimal-dark",
autoHideScrollbar : true
tool.init();
// 分享按钮
$('.list').on('mouseover', '.shareBtn', function(){
$(this).addClass('shareBtnHover').children('.shareBtn16').show();
}).on('mouseout', '.shareBtn', function(){
$(this).removeClass('shareBtnHover').children('.shareBtn16').hide();
}).on('click', '.more', function(e){
// 点击查看更多
var $this = $(this),
$list = $this.parents('.list'),
$med = $list.find('.med[ft=1]'),
$med_0 = $list.find('.med[ft=0]'),
$section = $med.find('.section'),
$section_0 = $med_0.find('.section'),
page = parseInt( $this.attr('page') || 0 ),
ftop = $list.offset().
if( page<len-1 ){
for(var i=0; i 0 ){
$section.removeAttr('style');
$more.attr('page', '0').text('点击查看更多');
setTimeout(function(){
$list.find('.section_0').css('overflow', 'visible');
$("#focus_01").qqfocus({
space: 5000,
// 时间间隔
effect:'fade'
$("#focus_02").qqfocus({
space: 5000,
// 时间间隔
effect:'fade'
$(".huike, .lighting, .zhitupai,.caiyueni").on('mouseenter', 'li', function(){
$(this).addClass("current").siblings().removeClass("current");
$("#tabs1").tabs({
type: "mouseover",
current: "current",
hdItem: ".tab_hd_item",
bdItem: ".tab_bd_item"
id: "upBtn",
distance:500,//29
isTop: false
function advshow(){
var ww = $(window).width();
if( ww >=1280){
$('#focus_02').hide();
$('#focus_03').show();
$('#focus_02').show();
$('#focus_03').hide();
advshow();
loadWideCss();
jQuery(window).resize(function(){
loadWideCss();
advshow();
|xGv00|c1fd2c7c254ecef2c9b01 */腾讯游戏运营部数据中心、运营开发中心总监孙龙君：大数据带来的营销革新
　　-25日，由iResearch艾瑞咨询集团主办的第九届艾瑞年度高峰会议在深圳华侨城洲际酒店成功举办。本届艾瑞峰会以“守正出奇?融合创新”为主题，汇集了来自互联网、新经济、科技相关行业的前沿公司领袖，共同诠释互联网行业守正出奇的变革路径，寻找互联网企业融合创新的发展前景。　　以下是腾讯游戏运营部数据中心、运营开发中心总监孙龙君发表的以“大数据带来的营销革新”为主题的演讲实录：（图为腾讯游戏运营部数据中心、运营开发中心总监孙龙君）　　「孙龙君」：大家好！我是腾讯的同事，今天很高兴能够跟大家做一些分享，首先在分享之前的话，先跟大家说一下，前面几位嘉宾我觉得说的内容都非常好，尤其是数据安全性部分，其实腾讯在数据安全性也是做了很多的保障，我们在数据安全性上面的话，我们也做了很多的举措，比如说我们这些数据其实是不会开放给外部的用户，并且这些数据我们其实有个比较严格和稳固的监控，不会做其他的用途。最早艾瑞的副总裁提到国内在数据交换目前做的稍微差一点，我觉得在整个大环境下面必然的状况。　　首先我想请问大家这边有玩过游戏的举一下手。今天我跟大家介绍就是大数据带来的营销革新，我们里面介绍的案例不见得太多，但是我们从互联网营销的思考跟大家做一个讨论，首先问大家一个问题，在互联网大数据有用吗？有用是吧，哪位举一下手。你觉得有用是吧，大数据有没有用，我举个例子来说，以DMP为例来看，我们上IBM的网站上面有广告，三贞广告不会一直不停地切换，我们需要用大数据来进行优化吗？我们需要对大数据来针对每个用户看到不一样的广告吗？应该是不需要的，为什么它不需要呢？因为它只有三贞广告，并且登上IBM官方网站的时候他们认为你是他的目标用户，他希望你把这三贞广告都看完，因为他永远不知道你会需要什么样的服务。这里面隐含的意思是如果我们用大数据做优化的话，大数据其实是个统计的问题，你可以把这个资源用的更好，但是你会错失一些用户，比如你的命中率是80%，还有20%的用户是丧失的。大数据在有些场景里面是没有用处的。昨天有一个同事跑来找我来希望我们帮他在推广上面进行优化，首先我问他一个问题，你手上有多少资源？比如在QQ tips里面有多少资源？如果今天有五亿条的话，其实你是不需要大数据优化的，因为你一旦用大数据优化的话，有些用户是会漏掉的，所以你的整体利益最大化是丧失的。但是如果换另外一个角度来说如果今天IBM网站上面同时有三十个业务，五十个产品，需要竞争广告位的话大数据优化才会带来价值。所以刚刚艾瑞副总裁说的是最早有人想到新浪买一些广告位，通过大数据的优化，它是把之前的资源变成了稀缺的资源，所以我们在做优化的同时，或者我们在想一些商业模式的时候，我们怎么把这些看来是固定的资源变成稀缺资源，大数据在上面有比较好的用处。　　大数据是雪中送炭还是锦上添花？可能这个问题提出来的时候大家都知道真真正正的答案，这其实是一个真正在营销上面的一个模型，它这个模型是这么介绍的，就是你的市场投入经费越多，可能带来的收入营收越高。这里面最早说这件事情的时候可能说你要砸很大的一笔钱，我们打开市场才会把这个市场一直不停地往上升，当然市场是会上了一个峰顶的。但是某些程度来说在看这张图的时候我脑子里面思考了一个问题，它里面其实是有一个损益平衡的，当你的投入，和营收达到一个平衡的时候你才会继续砸下去，如果在这个平衡之下其实你是亏的，一旦没有超过市场投入的时候，其实下面都是持续在亏。所以有很多我们做一些创业的时候，我们做一些营销或有些商业模式的时候，大家其实一直在下面赚不到钱，但是我们引进风投的话拿到一笔很大的钱之后就会规模化生产，或者规模化效应我们就会突破这个平衡点，就会赚到钱。大数据有用，但是它一定是锦上添花，它不是雪中送炭，大数据可能能够帮你赚到钱，但是它不可能十倍二十倍这样去。一定是把损益平衡点往前挪，也就是你在投入有限的资源，有限的成本，有限的人力同时其实是把损益平衡点往前推挪，如果超过损益平衡点其实你就是在不停赚钱的。所以我认为大数据就是结合上面刚刚大数据有没有用这个话题，我觉得首先跟大家说清楚，而不是现在听到大数据这个概念很火，大家认为只要用大数据就能让企业活的更好，其实很多时候不是，并且很多时候在用大数据的时候我们锦上添花也就是说比如说营收提升10%、20%、30%，但是它其实是有个极限的，整个极限是市场份额的上限。　　第三块就是我们在工作实际里面使用的工作经验跟大家分享的，大数据目前我们认为简单粗略地划分是会有几个大方向的应用，第一个大方向的应用其实就是看数据，就跟刚刚说到的我们现在有很多的报表有很多系统，我们能够提供更敏捷的商业方面的VI.另外一个方面其实是优化，什么叫做优化呢？优化比如说我们投放资源的优化，就是我们刚才说的提升10%、20%，就是目前具体业务上可以做的事情。比如中国电信做的看电影票其实是个优化的手段。另外我们在大数据上面做的应用这可能是很多创业者很感兴趣的地方，它其实是有另外一块来创新的应用，举个例子来说在国内的话，阿里他们其实是靠他们的数据来做阿里金融，其实这是一个创新方面的应用。这三个方向我们怎么看待这个问题呢？跟大家分享一下，首先创新可能带来的价值是更高，因为我们认为这个创新的视角可以认为它是从零到一，也就是说如果你找到一个比较好的应用，比较好的切入点，它其实从没有到有，这部分的利润或者这部分的营收我们认为是多赚，所以在企业里面我们做大数据应用的时候，首先看的是我们有没有一个创新点或者说这个点之前有没有人发现过，我们创造一个新的领域新的一个产品，这样子营收是额外带来新的应用。　　另外一块是现有的优化，我们看待的方式和我们处理的方式就按照我们刚刚说到的大数据到底有没有用，我们看待这件事情的时候其实是看待它是不是个稀缺资源，并且前面会做一个预判断，它的投入产出到底合不合理。我举个例子来说，如果我们做游戏做推广的时候，大家有一段时间应该有人会收到手机其实会有手机简讯来推送，这个可能让你玩某某游戏，我以前在游戏行业的时候看过几个例子，现在应该不多。因为这里面有一个是投入产出比的问题，现在我们拉一个用户进来跟去诈骗一个用户可能带来的投资报酬，可能诈骗用户来的更高一些，或者金融产品可能带来的回报更多。所以最后在大数据上面或者是应用创新上面，其实要考虑的就是一个投入和产出的问题。所以优化这部分的话，是可以去做的，但是首先要考虑这个问题，并且优化就我们的经验来说的话，可能它是有限的，也就是说可能是70%，可能是700%，但是再往上面的话，刚才说26倍或者是几十倍，那个就稍微困难一些。所以如果在自己内部优化的话算自己的产出比可能不见得核算。　　另外一块是看数据，我们腾讯内部自己有做一套报表系统，从数据后台的海量数据录入，海量数据传输，数据监控，报表展现到后面我们都有一套目前算是比较成熟的方案，到时候我也想了解一下看看你们方案能不能有一些互补，我们这套系统其实很巧，我刚来的时候吓了一跳，大家讲的都一样，我们也叫iData，一来的话看到这个峰会的时候，我惊了一下，大家想的都是一样的东西，在这三块里面我认为企业里面目前大数据可以应用的方向，但是这里面其中在看数据这部分的话，要跟大家分享的就是这个接地气的问题，什么叫接地气呢？可能在很多公司里面都认为大数据的应用其实是单纯地看数据看报表，但是单纯地看数据看报表我们觉得这个可能是五年十年以前，大家做的事情，其实我们认为是远远不够的。　　我们刚刚提到的说优化，创新，我们其实一直在我们内部一直在强调一件事情它是一个闭环，并且这个闭环是可以落地的。什么叫做闭环可以落地的呢？就是比如说我们看到我们数据报告、数据报表或者我们的系统能够自动产生出来哪些人是流失的用户，这是我们内部的案例，我们会专门有一个系统去算每一天有哪些玩家会流失，它就是一个概率问题。但是只看到这些数据我知道每天有哪些人会流失其实是没有用的，如果单纯地只是看数据这件事情的话，可能对我们的企业发展和企业落地是没有任何帮助的。我们希望形成一个闭环，甚至能够落地。所以后面会在我们系统上面会搭配一个自动推送给用户某一个他感兴趣的游戏系统，或者游戏信息，或者游戏的内容，我们认为这种从前面看数据看报表，计算出来讯息之后，能够在搭配这个落地的举措或者是这个闭环，能够真真正正转化出来项目的价值和项目的利润，我们认为这件事情才是真正能够带来价值的事情。　　再讲一个像营销的QQ tips来推荐你玩游戏，我们也有一套系统会专门在前面计算或者是比如说标签比如说计算，比如说学习的方法，我们计算哪些用户是感兴趣的，搭配自动推送的系统会把哪些用户更适合玩哪些游戏，这就是一个闭环。我们有看数据的系统，如果能够多往前走一步来了解企业需要哪些方案完成，我们觉得企业是有比较大的价值。我们认为在企业里面应用接地气两个其中的案例。　　最后一个的话是大数据，这里要跟大家分享大数据，因为很多人都会认为说我们每家公司里面都有大数据，其实我可以说不是真正有大数据。我举个例子来说在一年半以前我有个朋友他问我说，现在我要跳槽了，有一家公司他们是做大数据的公司，他问我说靠不靠谱，也没有前景，他跟我说完之后，他们要做的是帮银行就是找到感兴趣的用户，类似推送手机简讯这种方式，他跟我说完之后，我想了想就跟他说好象不是太靠谱，我跟他说你别去，但是他最后去了，他们公司还活的蛮好的。为什么呢？因为他们上面有人。所以就是有关系，上面有人，这是在中国大环境背景下是这样的。那时候我挑战它的一件事情就是这个商业模式大致来说是没有问题的，但是他们缺的是数据，我说所有我们的系统报表，我们分析思路什么都可以做得非常好，就像刚才提到的我们在有些领域上面其实跟国外是差不多的，但是其实我们真正缺的就像刚刚说的BLUKAI，我们缺的是数据，国外有一个好的平台把大数据全部整合起来了，我们是没有的。所以我跟那个朋友说你去这家公司看起来不错，最后在那里做到的精细化程度其实是有限的，因为你们或者是真正能带来的价值是有限的，因为你们的数据其实是不够全面的，但是他们拿到的数据其实好象是从运营商拿来的，所以这个数据是比较全。最后跟运营商合作，所以现在数据是比较全面的。这个大数据第一个是我们的横向是不是覆盖的全面，我认为这件事情是首先可不可以做，如果我们中国有十几亿用户，拿到了其中的七八亿，一定可以做，因为覆盖已经超过了50%，可以把概率损失降低到最小，做的好不好呢？我觉得是另外一件事情。　　我举个例子来说，以游戏为例，我们现在去沃尔马买一把菜刀，他能够帮大家分析什么东西？他能够帮大家分析这个人今天去买菜刀，可能明天不会再买，因为他买了好多把菜刀，或者他能够分析他去买这把菜刀是个家庭主妇，他可能是个做饭的人，喜欢做饭，可以推荐他买菜，这个是目前我们拍脑袋的一件事情。但是另外一种角度来说我讲个极端例子他可能买刀去杀人其实是算不出来的，为什么没有办法想到拿菜刀去杀人呢，是因为数据颗粒不够，或者它的数据不够全面，他只有拥有他现在在沃尔马里面的数据。我再举个例子来说，大家都有用微信，我不知道你们微信朋友圈里面发的是什么内容，但是大部分的朋友圈是正能量，我问一下里面都是正能量的举一下手，这个数据里面就存在一个颗粒度问题，也就是数据是不是够精细，是不是够真实的问题，但是在游戏里面我们现在目前一个比较好的状态，游戏在里面其实每个人在互联网里面背后的行为其实展现出来跟日常的行为不太一样，有些人在QQ后面的时候真实的状态就是穿着拖鞋穿着短裤上网，但是在真实面前的时候穿个衬衫长裤跟大家说说话，很多时候会把他们面具脱下来，这个信息这个内容我们认为说可能会更加有价值，可以更好地能够分辨他到底是个什么样的用户什么样的人，给他推送他想需要的东西，或者对他来说这个信息是有帮助的。我们觉得可能要考虑的不仅仅是数据横向的全面性，数据的深度也是需要思考的。　　就像现在我们可能很多公司都会有数据，但是很多公司的这些数据大家可能考虑到因为我们需要结构化，所以我们需要结构化的时候都要把数据拉平或者把数据纬度给抹掉，这些是大家思考有没有必要做这些事情，如果不抹掉最后带来的价值可能问题也会很大。刚刚说到了国外有些数据交换的公司在前段时间在两个月以前，我应该是在上海参加了运营服务方面的关于数据方面结合的讨论，也是一个峰会，在这上面的话里面总共有十个人发言，最后我仔细听完发言的这些人其实大家遇到的问题都是同一个问题，就是大家手上要么就没数据，要么就是数据非常非常少。我最近听到其他的一些讯息，比如说有人在尝试在建构这个数据交换的合作，数据交换联盟，我认为如果未来有这种数据交换联盟可能可以让大数据发展能够往前进步或者是把它挖掘的更加深入很多。所以这个有很多的例子来说明没有这些精细化的数据到底会发生什么问题，比如说我们在跟国外有个教授，这个教授他创了一个领域叫做情感分析，然后他一直很苦闷，他一直苦闷的一件事情就是他的数据是不全的，甚至我们跟浙大沟通的时候他们数据也是不全的，我们甚至跟其他高校合作的时候其实大家愿意压低合作的费用，他们认为微博上面这些数据做情感分析，有很多数据是缺失的，大数据的全面性深度是造成我们未来在大数据应用上面是不是可应用，是不是准确，是不是有价值的一个最重要的关键因素。因为如果一旦这个准确性，准确率不高的时候，它的投入产出就会造成问题，它的投入产出造成问题之后，这个技术或者这个应用其实就不可行了。　　最后跟大家说我们祝大数据能够改变人类的生活，也希望大家如果在有人创业或者有人在自己公司里面优化的话能够多想一下大数据方面的优化，虽然每个方面优化其实都不太一样，比如电商更多的是做广告推荐，在游戏方面我们可能很多应用是用户关键，可能是精准营销，可能是用户留存，甚至是改变游戏的设定去优化游戏的运营，在其他领域，我相信其他领域也都不太一样。谢谢大家！
最新研究观点
关于艾瑞研究院
艾瑞研究院作为艾瑞咨询集团的核心基础研究机构，主要研究包括网络广告、搜索引挚、电子商务、电子支付、网络游戏、视频、O2O移动互联网、网络经济、网民行为、企业研究等互联网新经济领域，每年发布各类研究报告接近200份，同时在电商产品、投资产品等方面积极布局，目前已发展成为国内最权威的互联网经济研究团队。
iResearchCenter-艾瑞智慧
杰出的互联网研究与数据服务平台
基于每年百余份行业分析报告，几千项数据分析观点，为网络营销、网上银行、电子商务、移动互联网等领域，提供全面、专业、实时的行业智库...
微信公众号