在 flink 中 full join之后的回撤流会出现重复数据 , clickhouse的replacingMergeTree 虽然能去重,但是会有延时,手动optimize又太重。怎么处理幂等性问题?
2 回复
1年后自我回答: 可以考虑用CollapsingMergeTree ,通过把历史数据折叠掉,实现幂等*。
😂,确是没啥人气,大家都在微信群里讨论了
在 flink 中 full join之后的回撤流会出现重复数据 , clickhouse的replacingMergeTree 虽然能去重,但是会有延时,手动optimize又太重。怎么处理幂等性问题?
1年后自我回答: 可以考虑用CollapsingMergeTree ,通过把历史数据折叠掉,实现幂等*。
😂,确是没啥人气,大家都在微信群里讨论了