请教个问题我在做数据存储时需要实现一个数据去重的功能所以在程序运行时就要读取大量数据到内存中感觉程序在运行时变的好慢，请问下有没有更好的方式来在程序中去重？

重要提示：提问者不能发表回复，可以通过评论与回答者沟通，沟通后可以通过编辑功能完善问题描述，以便后续其他人能够更容易理解问题.