陌陌数据源访问中间件的演化进程实践

大数据存储系统的架构设计讲座内容

 

演讲人:杨建军,陌陌基础平台组架构师,在陌陌工作期间主要负责基础平台中间件研发,业务系统架构评审以及优化工作。加入陌陌前曾在58同城、世纪佳缘等公司从事搜索、大数据平台、推荐系统架构设计研发工作。
干货要点:
一、数据存储集群发展
1.单机
2.主从
3.多主从集群现状。redis、mysql、mongodb是主要集群方式。特点是架构简单、稳定性较好、业界应用较多。多主从集群架构需要解决的问题:数据路由、实例迁移、实例的动态变更管理、扩容、高效配置管理、对运维友好。
4.分布式存储
二、陌陌数据存储介绍

三、momostore自研中间件介绍

1.自研中间件介绍:基于多主从模型设计;zookeeper 存储元数据;支持redis 、mysql等;Java 开发
2.momostore一些特性:路由算法(一致性hash、mod、region…);节点信息动态变更;支持灵活配置多写、读写分离、冷备等;高可用主从切换;Failfast支持。
3.集群信息变更:Instance 信息后台直接修改、客户端proxy自动watch 相关变更;尽量减少因路由变更带来数据不一致影响,cluster、node信息变更引入两阶段确认模式。
4.扩容:尽量在架构设计时预估好容量、一致性hash 直接添加节点、MOD、 Region算法可按倍分扩容、扩容后节点旧数据需人工脚本删除
5.mysql proxy介绍:基于config center源数据配置、支持分库分表、支持sql 解析、按特定切片字段路由、暂不支持跨库join、order by、group by、limit、in 等操作。
四、内部使用情况
1.redis proxy已用于消息业务相关集群、用户关系集群、feed相关业务等。
2.sentinel 高可用切换系统覆盖全量redis集群。
3.逐步替换线上静态数据源配置方式。
4.mysql proxy还处于测试推广阶段。
PPT下载地址:http://vdisk.weibo.com/s/sTtZFJCY4HpFk
观看完整演讲视频请点击:http://v.youku.com/v_show/id_XOTYzOTY1MzUy.html

 

幻灯片1幻灯片2幻灯片3幻灯片4幻灯片5幻灯片6幻灯片7幻灯片8幻灯片9幻灯片10幻灯片11幻灯片12幻灯片13幻灯片14幻灯片15幻灯片16幻灯片17幻灯片18幻灯片19幻灯片20幻灯片21幻灯片22幻灯片23幻灯片24幻灯片25幻灯片26幻灯片27幻灯片28幻灯片29幻灯片30幻灯片31幻灯片32幻灯片33

About 智足者富

http://chenpeng.info

发表评论

电子邮件地址不会被公开。 必填项已用*标注

您可以使用这些HTML标签和属性:

<a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>