首页 >热点 > > 正文

解剖屎山,寻觅黄金之第二弹

程序员客栈 2023-05-31 13:28:38

大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。

在最开始,我的第一版实现是这样的:


(相关资料图)

publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}

那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:

publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}

我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁

确实牛逼。

我基于上面的思路微改了下入口,代码最终演变成这样:

publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}

到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)

去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):

通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录

为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:

1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉

2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉

从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:

DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);

Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)

而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder

/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMapserviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}

前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:

而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。

LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19

1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。

2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。

3、redis使用lua脚本来保证原子性和减少网络io的损耗

4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)

5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳

针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?

A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。

为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。

为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。

推荐项目

最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。

毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。

如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。

仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin

我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟

VIP服务

上一篇:【环球报资讯】煤炭股回不到过去了 下一篇:最后一页
x
推荐阅读

解剖屎山,寻觅黄金之第二弹

2023-05-31

【环球报资讯】煤炭股回不到过去了

2023-05-31

高考生如何备考 踢好“临门一脚”_全球最新

2023-05-31

世界最资讯丨福建企业前沿科技成果亮相2023中关村论坛

2023-05-31

5月31日烟台中瑞氢氟酸价格暂稳

2023-05-31

今日热文:【原】莫名其妙·偶得

2023-05-31

切实减轻负担!国家医保局等:做好大学生参加基本医疗保险相关工作 环球新视野

2023-05-31

世界热讯:神舟启新程 天宫再会师(科技自立自强·逐梦深空)

2023-05-31

里斯-詹姆斯分享养伤期间日记:生涯最低谷 是金子总会发光 环球快消息

2023-05-31

播音主持专业专升本好升吗?

2023-05-31

河北廊坊:“庭院经济”为乡村振兴增活力 天天速递

2023-05-31

澡盐_关于澡盐的介绍 热点聚焦

2023-05-31

2023年05月31日全国内三元生猪价格行情涨跌表-世界观天下

2023-05-31

周到晨报|6月起,上海这些新规或活动“上线”;成品油价微涨,一箱油大约多花4元;上海影城焕新升级如约回归,带你提前探营亮点抢先看 世界信息

2023-05-31

春秋五霸与战国七雄图_春秋五霸与战国七雄 环球观察

2023-05-31

天天即时看!恋爱夜场成人大厅 恋爱夜场你懂的

2023-05-31

漫步青岛 二十城主流媒体聚焦“世界最美海湾”-全球今热点

2023-05-31

牛丼到底怎么读(rdquo 牛丼 rdquo 怎么读 什么意思) 快报

2023-05-31

cf全屏两边黑黑的_cf全屏两边是黑的|世界要闻

2023-05-31

观速讯丨魔法牌的名字_魔法牌

2023-05-31

欧盟委员会调高欧盟2023/24年度小麦产量和期末库存预期 当前热点

2023-05-31

大坂直美_大坂直美简介 世界要闻

2023-05-31

迪丽热巴佟大为领衔主演 《公诉》聚焦“打击网络犯罪”

2023-05-30

第二届粤港澳大湾区(广东)算力产业大会举行

2023-05-30

皇庭B(200056)龙虎榜数据(05-30)

2023-05-30

货车司机酒后驾车上高速,驾照吊销丢“饭碗”-世界新消息

2023-05-30

部分网上可办!惠州这13种情形可提取公积金!提取额度是→_热点在线

2023-05-30

信用卡逾期了怎么办理停息挂账?这样做就对了

2023-05-30

[快讯]晶华新材公布2022年年度分红实施方案-全球快播

2023-05-30

百家融媒重庆行丨为城市建未来,重庆城市基础设施项目崛起的三大“密码”

2023-05-30

n.cm与kgf.cm转换(kgf cm与n m换算)|新动态

2023-05-30

空间站欢迎对联好喜庆

2023-05-30

psp电影下载专区(psp电影迅雷下载) 最资讯

2023-05-30

农村支委会会议记录范文(农村过会是什么)

2023-05-30

网传中山医院急诊科100位医护人员中招?我们去现场看了看_热点评

2023-05-30

天天消息!猿辅导推出小猿学练机:10.3寸护眼墨水屏+封闭式系统

2023-05-30

3gp文件打不开怎么办(3gp文件)-天天微资讯

2023-05-30

5月30日铭普光磁涨停分析:F5G,光通信,5G概念热股

2023-05-30

当前播报:容桂首个社区基金——德胜基金会龙涌口和美乡村共建基金成立

2023-05-30

今日快讯:皇马2021年阵容(皇马今年阵容)

2023-05-30

AI走进文博会 首次引入数字人直播 每日精选

2023-05-30

“回归”咸安一年观察:横沟桥镇变形记 头条焦点

2023-05-30

速讯:燃油附加费年内第3次下调

2023-05-30

安徽舒城县成立县级电力负荷管理中心

2023-05-30

昊华科技(600378)5月30日主力资金净卖出27.16万元

2023-05-30

粤港澳自由行游艇实现30分钟通关-今日视点

2023-05-30

平顶山卫东区:拉高标杆奋勇争先 对标一流赶超跨越-热文

2023-05-30

深圳光明区民办学位补贴申报咨询电话一览

2023-05-30

中方代表六问日本!_全球报资讯

2023-05-30

管涛:美联储和市场,究竟谁错了

2023-05-30

神舟十六号载人飞船发射成功!乘员:坐火箭太爽了 天天时快讯

2023-05-30

汇安成长优选混合C基金经理发生变更 全球要闻

2023-05-30

2023年1-4月社会物流需求恢复性回升 主要经营指标保持增长|热推荐

2023-05-30

南非枪杀事件(南非学生持刀攻击)|今日视点

2023-05-30

午间涨跌停股分析:28只涨停股,4只跌停股,兔宝宝7天4板,贵航股份 成飞集成跌停|世界百事通

2023-05-30

【世界速看料】支付宝发布紧急提醒,接到这类消息别信!

2023-05-30

新课标数学七年级上册答案深圳专版_新课标数学七年级上册答案-讯息

2023-05-30

全球微资讯!番禺火烧岗垃圾填埋场(番禺火山湖)

2023-05-30

励志的话简短_励志的话_即时看

2023-05-30

猛虎突击队真的存在吗_猛虎突击队

2023-05-30

“合力监护 相伴成长” 湘潭县举行庆“六一”暨关爱困境儿童主题活动

2023-05-30

苏丹首都圈地区再度爆发激烈冲突

2023-05-30

美菱拿“更新鲜”赋能家电高质量发展|全球快播

2023-05-30

将于6月9日全球首发 雷克萨斯全新GX最新预告图

2023-05-30

世界热文:桃源:“三独”展才艺 青春绽舞台

2023-05-30

居然之家 16 亿元「接盘」北京远洋未来广场-观速讯

2023-05-29

快播:汇财金融投资(08018)与丰德百旺集团签署战略合作框架协议

2023-05-29

天天快消息!日企罗森向加盟商低下“头颅”

2023-05-29

上海松江区谷阳北路一办公楼因无人出价流拍 起拍价1.3亿元

2023-05-29

天天视讯!民生银行海口分行:金融赋能“小微” 企业再添动能

2023-05-29

亚索吧百度贴吧 亚索吧

2023-05-29

天天最资讯丨郑州绿博园“绿博之夜”6月2日启幕

2023-05-29

乐此不疲的意思标准答案_乐此不疲的意思_环球动态

2023-05-29

当前视讯!海南兰花界的“新面孔”:雨林生幽兰

2023-05-29

快讯:魔偶奇谭_魔偶

2023-05-29

2023年川渝两地游泳救生员职业技能交流赛举行 88人切磋技艺 每日讯息

2023-05-29

速锐购车指南:哪款车性价比最高? 重点聚焦

2023-05-29

国乒五金先别高兴!世乒赛揪出最大水货,李隼失望,刘国梁或出手_最资讯

2023-05-29

化身“小匠人”,北站小学萌娃快乐DIY

2023-05-29

描写猴子的特点_猴子的特点

2023-05-29

港澳旅行商来琼踩线考察 打造“一程多站”旅游产品_世界速看

2023-05-29

双象股份5月29日打开涨停 聚看点

2023-05-29

树莓派CM4使用BTT Pad 7触摸屏显示器应用案例 当前讯息

2023-05-29

世界要闻:5月26日国内邻苯产业链价格汇总

2023-05-29

资金借道ETF抢筹 内外资机构“唱多”A股

2023-05-29

稳经济 促发展 强信心|惠济区邀请招商专家献“金点子”-环球快消息

2023-05-29

消息!小型打印机怎么使用_小型打印机

2023-05-29

停车不上锁的后果是什么?小偷:这题我会!-每日快报

2023-05-29

13500元/㎡!浏河东限价再次刷新! 看点

2023-05-29

水性道路标线涂料_关于水性道路标线涂料简述

2023-05-29

公司名称中英文翻译_公司名称翻译在线-观焦点

2023-05-29

一方通行同人小说(一方通行) 世界观察

2023-05-28

天天观焦点:交通事故可以索要赔偿金吗?

2023-05-28

河北廊坊:千所高校大学生展时尚设计风采-每日快看

2023-05-28

什么情况?这家银行超54%股权遭强制拍卖!前八大股东已成被执行人-要闻

2023-05-28

中央气象台:四川重庆陕西等地有较强降雨 华南江南等地有高温天气-世界播资讯

2023-05-28

马背之上

2023-05-28

天天信息:五线并进,呈贡警方普法强基“法”力全开

2023-05-28

全球速递!我国破解页岩产油3项世界难题

2023-05-28

淮安手机党校多少分合格_手机党校淮安

2023-05-28