Zookeeper和elasticsearch数据一致性问题?

0
请教大神, zookeeper写入时,半数以上写入成功即可,那么还有少数没有写入,这样就出现了数据不一致性,那么client看到的视图就不一致了(至少短期不一致)。zookeeper这里是怎么解决的?同样还有elasticsearch,的主从复制机制,多少写入成功即返回,那剩余的节点不是数据不一致吗,当请求时不就请求到了不一致的点?
已邀请:
1

牟瑞 - 大数据 Hadoop 讲师 Hadoop入门课程地址:http://www.hellobi.com/course/39 有架构师,技术总监,CTO的职位请联系我! 2016-01-02 回答

我们的实际业务中一致性要求的不是特别高,所以没太关注这方面的内容,不过可以给你提供两个思路。
1.从源头上做数据直接覆盖,比如利用Hive的分区,对于过去一个小时的数据采用直接覆盖的方式
2.对源数据做统一管理,生成数据的时候生成唯一的数据ID,入库时候对已经存在的数据采用更新,不存在的直接插入
3.在请求的时候对数据做一致性数据还原。比如去重。这种方式效率比较低。

要回复问题请先登录注册