• “大功三连”指导员王金龙责无旁贷学习先行走在前列 2019-09-08
  • 大众因“排放门”被罚10亿欧元 外媒:处罚还没完 2019-09-08
  • 稳中有进 稳中向好——国家统计局新闻发言人毛盛勇解读经济运行态势 2019-09-08
  • 回复@“老笑头”,批判了你的帖子,就是看不懂你的帖子吗?这就是你一贯自我吹嘘的所谓“逻辑”吗?你的这种所谓“逻辑”全论坛恐怕只有一个人会认同,那就是最近出... 2019-08-31
  • 西部网(陕西新闻网)www.cnwest.com 2019-08-31
  • 【北京宝泽行车型报价】北京宝泽行4S店车型价格 2019-08-26
  • “陪堂妈妈”上课3000多节 班主任:她去中考没问题 2019-08-26
  • 端午节重庆小朋友齐手为大象制作超级大粽 2019-08-25
  • 游走休闲马德里,做一个阳光收割机 2019-08-23
  • 小萌们自认为能达到计划经济的要求么?你们那点小心思谁不知道?就是想跟着混! 2019-08-23
  • “会生气的存钱罐”获日本最佳创意玩具奖 2019-08-22
  • 最美季节走醉美线路——新疆伊犁大环线文章中国国家地理网 2019-08-22
  • 市场经济就是一种唯利是图的经济,是一种波动、走极端的经济,新时期的发展方式与结果就是如 此。那么指望市场经济来解决需要与不平衡的矛盾,对症下药了吗? 2019-08-21
  • 《国家人文历史》2018年第10期(总第203期)封面及目录 2019-08-21
  • 【现场】“一部影片+一场报告”激发的爱党爱国情怀! 2019-08-17
  • 保定市专业团队各种类型网站设计,网站建设,网络宣传,价格公道,全国市场,各个行业均可,十年以上专业团队 ...  半小时前 上传下载附件 (61.91 KB)  保定市专业团队各种类型网站设计,网站建设,网络宣传,价格公道,全国市场,各个行业均可,十年以上专业团队 ...  保定市专业团队各种类型网站设计,网站建设,网络宣传,价格公道,全国市场,各个行业均可。 十年以上专业团队,擅长医疗,公司,商城等等行业! 商家均可联系,其他宣传合作非业务的勿扰, 电话:13932228338 QQ:63293588 卢经理
    保定社区妈咪宝贝,美容美体都可以让你做美丽女人北京pk10 9.99平台 www.fyrp.net11健康网·中国第一健康门户网站保定最好的网站公司专业承接各类网站制作 联系QQ:252097950保定市专业团队各种类型网站设计,网站建设,网络宣传,价格公道,全国市场,各个行业均可,十年以上专业团队 ...  20 分钟前 上传下载附件 (61.91 KB)  保定市专业团队各种类型网站设计,网站建设,网络宣传,价格公道,全国市场,各个行业均可,十年以上专业团队 ...  保定市专业团队各种类型网站设计,网站建设,网络宣传,价格公道,全国市场,各个行业均可。 十年以上专业团队,擅长医疗,公司,商城等等行业! 商家均可联系,其他宣传合作非业务的勿扰, 电话:13932228338 QQ:63293588 卢经理
    查看: 33|回复: 0
    打印 上一主题 下一主题

    【网易实战解读】如何实现IM万人群聊?

    [复制链接]

    北京pk10 9.99平台 www.fyrp.net 该用户从未签到

    跳转到指定楼层
    楼主
    发表于 2019-8-14 11:19:04 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
    禁毒吧-中国禁毒网站戒毒论坛
      随着移动互联网的发展,即时通讯服务被广泛应用到各个行业,客户业务快速发展,传统百人或千人上限的群聊已经无法满足很多业务发展需求,因此网易云信IM专属云推出万人群服务。

      本篇文章主要介绍网易云信IM万人群的设计方案。

      万人群场景需要解决以下问题:

      消息需要按1:9999的比例进行转发投递,按常规消息处理流程将产生大量的子任务,对系统吞吐量的要求极高;

      在微服务系统架构下,如果不采用一些优化方案,服务以及存储(DB、缓存等)之间的QPS和网络流量将非常高;

      以群为单位的缓存(如群成员列表)内存存储开销较大(假设一个成员200Byte,万人群约2MB);

      群成员登录后需要同步群离线消息,智能手机上App前后台切换产生的较多登录同步消息协议,因此需要优化消息同步方案。

      为了解决以上问题,万人群技术方案采用了“聚合+分层/组+增量”的设计思路:

      

      一、万人群消息处理流程:

      1、按群维护在线群成员信息,主要包含两部分(可以理解为两个缓存集合)

      a)群成员在线信息:即用户在线状态变化(上线、下线)时,更新相应群的在线状态信息(即动态维护群有哪些成员在线);

      b)成员IM长连接信息:即用户新登录时,更新用户的Link信息(即登录所在Link的地址信息,消息转发时根据Link地址路由消息)。

      2、IMServer收到群消息后,按群ID将消息路由到“群消息服务”???;

      3、群消息??榧觳椴⒃ご硐⒛谌?,然后通过“群成员在线状态”服务获取在线成员,完成消息转发的基础工作。为了减少群消息??楹腿涸谙叱稍狈裰涞耐缌髁?,采用了“本地缓存+增量同步”的缓存策略,即本地缓存记录最后更新版本号和时间戳,每次同步群在线成员前先检查缓存版本号是否有变更,若有则按最后更新时间增量同步;

      4、通过“群成员在线服务”获取在线群成员的Link链接信息,按Link分组路由消息(分组路由的原因:同一Link上的全部群成员只需要路由一条消息即可)。同样为了减少网络开销,成员Link信息也采用“本地缓存+增量同步”的方案;

      5、群消息采用“漫游+历史”的存储方案,漫游的消息存储在分布式缓存中,历史消息异步写入HBase。用户登录后可以通过漫游快速的获取到最新消息,并可以通过拉取历史查看更早的消息。

      二、万人群方案本地缓存增量同步策略

      抛开群在线状态管理逻辑,群成员在线状态服务可以简单理解为分布式集中缓存,增量同步技术方案如下:

      

      1、数据缓存是一个集合,其包含了多个缓存数据项,每一个数据项带有最后更新时间信息;另外缓存还有一个严格递增的版本号;

      2、缓存数据变更(新增、修改、删除)后,需要增加版本号;

      3、本地线程通过缓存管理读取数据时,管理服务先检查本地版本号和分布式缓存中的版本号是否一致,若不一致则按本地最新时间戳增量同步新数据项,并更新本地的版本号和最后更新时间(为了避免分布式集中缓存中并发写入导致的增量时间戳不可靠问题,增量更新时可以将本地记录的最后更新时间戳向前推移,比如减少20ms);

      4、为避免本地多线程并发读取相同数据项导致并发更新本地缓存的问题,可以按缓存数据合并更新请求,即解决并发问题还可以减少网络开销;

      5、缓存数据由大量数据项构成,为了避免单个缓存数据太大,可以将数据项中的属性业务场景精简(冷热分离),低频次读写的属性额外缓存。

      三、万人群水平扩容方案

      万人群采用大量本地缓存的方案解决消息处理性能和网络流量的问题,因此本地存储空间成了方案的瓶颈点。因此我们设计了分组路由的技术方案。

      

      消息按群ID和路由策略定向路由到指定分组(集群)上处理,分组由多个计算节点组成,因此方案上可以做到分组内和分组间的水平扩缩容。

      四、IM专属云

      由于万人群对计算和存储资源消耗比较高,在实施和运维方案上也有一定的特殊性,为了保证业务的可靠性和稳定性,万人大群仅提供给专属云客户。

      网易云信IM专属云以亿级日活的公有云架构为基础,全面升级了业务技术架构和部署、运维方案,旨在为云信客户提供更加稳定的IM服务,采用专属云方案,将获得以下优势:

      专属的独立计算资源:不仅计算资源独立,而且资源冗余度比公有云更高,且不会受到公有云上其他客户业务的影响;

      专属的独立运维服务:专属云由资深的SRE团队成员负责,运维经验丰富,能够根据客户业务场景制定最佳的业务监控、弹性扩容、故障迁移等运维方案;

      专属的IM能力:由于专属云下计算资源独立,业务场景特征明确,因此可以使用万人群、百万人聊天室等高级服务。

      专属的活动保障:每年可以获得2次大型活动保障服务。

      立即咨询,立享专属服务、专属资源以及万人大群。

    您需要登录后才可以回帖 登录 | 免费注册

    本版积分规则

    保定市专业团队各种类型网站设计,网站建设,网络宣传,价格公道,全国市场,各个行业均可,十年以上专业团队 ...  半小时前 上传下载附件 (61.91 KB)  保定市专业团队各种类型网站设计,网站建设,网络宣传,价格公道,全国市场,各个行业均可,十年以上专业团队 ...  保定市专业团队各种类型网站设计,网站建设,网络宣传,价格公道,全国市场,各个行业均可。 十年以上专业团队,擅长医疗,公司,商城等等行业! 商家均可联系,其他宣传合作非业务的勿扰, 电话:13932228338 QQ:63293588 卢经理
    返回顶部
  • “大功三连”指导员王金龙责无旁贷学习先行走在前列 2019-09-08
  • 大众因“排放门”被罚10亿欧元 外媒:处罚还没完 2019-09-08
  • 稳中有进 稳中向好——国家统计局新闻发言人毛盛勇解读经济运行态势 2019-09-08
  • 回复@“老笑头”,批判了你的帖子,就是看不懂你的帖子吗?这就是你一贯自我吹嘘的所谓“逻辑”吗?你的这种所谓“逻辑”全论坛恐怕只有一个人会认同,那就是最近出... 2019-08-31
  • 西部网(陕西新闻网)www.cnwest.com 2019-08-31
  • 【北京宝泽行车型报价】北京宝泽行4S店车型价格 2019-08-26
  • “陪堂妈妈”上课3000多节 班主任:她去中考没问题 2019-08-26
  • 端午节重庆小朋友齐手为大象制作超级大粽 2019-08-25
  • 游走休闲马德里,做一个阳光收割机 2019-08-23
  • 小萌们自认为能达到计划经济的要求么?你们那点小心思谁不知道?就是想跟着混! 2019-08-23
  • “会生气的存钱罐”获日本最佳创意玩具奖 2019-08-22
  • 最美季节走醉美线路——新疆伊犁大环线文章中国国家地理网 2019-08-22
  • 市场经济就是一种唯利是图的经济,是一种波动、走极端的经济,新时期的发展方式与结果就是如 此。那么指望市场经济来解决需要与不平衡的矛盾,对症下药了吗? 2019-08-21
  • 《国家人文历史》2018年第10期(总第203期)封面及目录 2019-08-21
  • 【现场】“一部影片+一场报告”激发的爱党爱国情怀! 2019-08-17
  • 北京快乐8最新版本下载 中超直播广州恒大 正确对待电子游戏的议论文 江苏时时彩玩法 足彩胜负彩18133期分析 打篮球必学规则 开奖二四六家婆报 拉人玩时时彩判几年 快乐十分玩法与奖金 云南十一选五基本走势图 广西快三进群 彩票对刷流水技巧 11选5组三万能码运用 江苏快三走势图表 河南22选5开奖玩法