概要信息：

腾讯公司集中式BOSS及BI系统的
技术架构介绍
Zeus
2012-8-18

腾讯技术架构简史
2000年
业务
2011年+2006年 2007年 2010年
架构
服务范围: 移动及电信增值服务
营收规模：28亿港币
代码量: 百万级
技术团队: 0~1000人
一代架构: 烟囱型
技术基础: c++/.net/spring/RDBMS
二代架构: 面向服务型
服务范围:全互联网产品领域
营收规模：360亿港币
代码量: 千万级
技术人员: 1000~6000人
技术基础:分布式缓存/消息队列/数据拆分/key-
values数据库/Hadoop
?
服务范围:海外以及互联网
领域
营收规模：360+
代码量: 亿级
技术人员: 异地/开放
?
当前架构挑战: 构建海量、稳定、安全平台
• 质量更可控
• 开发更简单
• 独立研发
• 降低单笔处理成本
• 去关键厂商绑定
• 99.9% -> 99.99%
• 核心业务做到0停机维护
• 自动化
• 应用级灾备
• 安全
• 千万级-> 亿级
• 同城 -> 异地->全球
• P级数据深度应用
海量 稳定
速度成本
集中式Boss平台
• TBOSS简介
• 平台架构及业务指标
• 关键技术-数据层容灾
• 关键技术-安全防护
TBOSS：Tencent Business Operation Support System
服务于腾讯增值服务的公司级虚拟交易平台
TBOSS
适应云时代：
云账户：二级代币、积分/豆、道具
云支付：第三方、多平台、多终端
TBOSS1.0
TBOSS2.0
TBOSS3.0
BOSS集中化：
从无到有，形成公司统一BOSS系统
内部核心功能建设：
计费融合、统一营销、实时容灾
日结、账户防篡改、离线审计
2011～
2008～2010
～2007
紧随公司营收的发展
• TBOSS简介
• 平台架构及业务指标
• 关键技术-数据层容灾
• 关键技术-安全防护
目录
数据中心
渠道接入 帐户管理 支付发货 计费结算 统计分析 客服支持
订购关系个人账户渠道帐户 号码资源 帐单库
业务控制层
（负责各种业务
流程的驱动和流
转控制）
统一业务控制
Portal
业务受理层
（负责各种业务
流程的受理）
充值中心 支付中心 发货中心
用户接入层
（转换各种外部
协议）
BOSS接入网关
联通
SGIP 。。。
移动
CMP
P
网通 。。。电信
pay.q
q.co
m
。。。
Esale
s.qq.c
om
内部协议
平台系统架构
平台业务指标
联通
电信
Q币
Esales
……
结算/TJ
无线
互联
互娱
财经
安全
用户交易请求
支付渠道 业务产品
计费营销
（批价/支付/发货）
渠道
接入
产品
接入
移动
即通
……
账单/对账账务
网银
营销资源管理
支付：400万QB/小时、充值：250万QB/小时
Q币账户：1.5亿、包月活跃用户：1亿
180多个渠道合作商 580多个产品代码
• TBOSS简介
• 平台架构及业务指标
• 关键技术-数据层容灾
• 关键技术-安全防护
目录
整体技术思路
软件：自主研发
设备：廉价普通PC
摘选自CTO-Tony：
特点 举例
接入层
容灾
无状态
类DNS路由
分发
数据层
容灾1
可拆分为局部状态
游戏分区、
分业务、分号段、
灾时只读、
容忍差异…
数据层
容灾2
全局状态唯一性
实时计费等
写关键…（难题）
一个经典难题的解决
容灾设计中的柔性
主Server
主
D
B
备Server
备
D
B
部门DNS
深圳 IDC_2深圳 IDC_1
Client 1.DNS寻址
2.获取服务
手动切换
现状：
1、类银行级的实时交易
2、写关键的容灾
3、无写Cache的设计
• TBOSS简介
• 平台架构及业务指标
• 关键技术-数据层容灾
• 关键技术-安全防护
目录
从用户角度看安全防护
从公司内部看安全防护
前台操作
后台操作
Token卡 公司敏感权限控制
及审计
OA密码、SHELL
审计
ROOT密码管理、SHELL审计、
关键脚本审计、数据库审计
帐单中心对帐
核对，DB加密
防篡改
Log审计
腾讯BI系统
• TDW介绍
• 海量数据平台建设目标
• BI系统整体架构
我们的定位：数据云、数据工场
机房、设备、网络等服务
虚拟机、资源调配
1 数据应用开发工具、组件、规范
2 基于数据仓库/BI分析库的自助分析组件
3 数据应用的部署、运维、托管
4 数据应用的公共服务
5 平台运营分析和管理
1 离线存储，离线计算和挖掘能力
2 在线数据收集、存储和流式计算能力
3 大规模集群的运营和优化能力
数据API、产品报表，数据自助分析/提取，专题分
析报告，数据挖掘，BI分析…数据应用/数据API
应用开发平台（数据工场）
基础设施
基础平台（数据云）
数据应用开发者
最终用户(数据分析师/产品/运营/开发)
使用数据
Ad-hoc查询
开发数据产品
海
量
数
据
平
台
‡ 数据开放：使得公司数据集中形成数据开放，在保障数据安全性的前
提下，提供自助化服务平台，从人肉服务模式转向平台自动化服务方
式，帮助BG数据分析人员通过自助服务的方式，降低人工成本，满
足快速增长的需求。
‡ 专业化：从提供大量独立的系统/工具转变向提供集成、一体化、自
动化数据开发平台服务。来源各个业务块数据进行整合和深入挖掘产
生用户画像，为广点通，电商等业务提供服务，并且快速孵化更多的
数据应用。
‡ 成本与性能：优化平台存储和计算方案、优化的数据模型和算法、去
除重复计算和存储；通过建设大规模集群，形成规模效应，提升平台
能力并降低成本；随着平台上的数据量、用户数、任务数不断增长，
每个新用户/新任务带来的新增成本不断降低，成本优势可以不断放
大。
目标：数据开放、专业化、成本
集群规模/数据量/计算量
机器数5000+台
总存储能力28P
0
5000
10000
15000
20000
25000
30000
2010 2011 2012H1 2012H2
存储及机器增长情况 存储(T)
机器数(含旧机器）
0
200
400
600
800
1000
2010 2011 2012H1 2012H2
日均计算(T)
0
5
10
15
20
25
30
35
40
2010 2011 2012H1 2012H2
日接入数据(T)
日均计算量550T 支撑4500个
计算任务
日新增30T数据
腾讯BI系统整体架构
技术服务
IAAS（机房、网络、设备、虚拟机等）
差异化存储
数
据
银
行
数
据
展
现
服
务
B
I
分
析
引
擎
权
限
服
务
审
计
服
务
外
部
系
统
接
口
S
Q
L
执
行
引
擎
过
程
执
行
引
擎
报
表
服
务
可
视
化
引
擎
基础服务
基于容量的公平调度
M
R
框
编
程
架
元
数
据
服
务
效
率
优
化
引
擎
底层接口
基础监控
流程服务
数
据
应
用
开
发
流
程
数据应用集成开发环境
（TDW-IDE）
DAG执行框架
web应用
知识库 任务调度 数据地图 任务配置
数据可视化 系统管理和分析
数据应用（自助分析/BI报表/pushmail/数据挖掘等）
生
命
周
期
服
务
知
识
问
答
服
务
任
务
调
度
服
务
监
控
告
警
服
务
2012年H1建
设完成
2012年持续
改进/集成 待建颜色说明： 注：待建部分未全部画出
自助提取/分析
权限申请 业务专区
血
缘
关
系
管
理
数
据
应
用
管
理
流
程
存储&
计算平
台
容量管理 基于角色的资源隔离
结构化存储+列存
分
时
计
算
框
架
集群管理模块高可用 集群管理模块分散化 物理优化
用户多维profile
手握手，肩并肩，启航！