每晚10点,捕获技术思考和创业资源洞察
“分而治之”( Divide and conquer)方法(又称“分治术”) ,是有效算法设计中普遍采用的一种技术。
有一个1G大小的一个文件,里面每一行是一个英文单词,词的大小不超过16字节,内存限制是1M。请设计一个算法思路,返回频数最高的100个词。
初步一看,要处理的文件大小1G,可内存却只有1M。我们知道1G的文件用1M的内存空间处理不太现实。按照1M的上限来计算,假设每个单词都为16个字节,那么1M的内存可以处理多少个单词?
我们来计算下,1M = 1024 KB = 1024 * 1024 B 。1M / 16B = 2^16个单词,那么1G大概有多少个单词呢?有2^26个单词,但是实际中应该不止,因为我们是按照最大单词长度来计算的,有可能有的单词只有两个字母。
方案1大概思路:
分而治之/hash映射:顺序读文件中,对于每个词x,取hash(x)P00,然后按照该值存到5000个小文件(记为x0,x1,…x4999)中。这样每个文件大概是200k左右。如果其中的有的文件超过了1M大小,还可以按照类似的方法继续往下分,直到分解得到的小文件的大小都不超过1M。
hash统计:对每个小文件,采用trie树/hash_map等统计每个文件中出现的词以及相应的频率。
堆/归并排序:取出出现频率最大的100个词(可以用含100个结点的最小堆),并把100个词及相应的频率存入文件,这时我们又得到了5000个文件。最后把这5000个文件进行归并(类似与归并排序)的过程。
类似这样的方案应该有很多,我们共同去研究学习,经验都是个人实践总结出来的,以上仅代表个人观点。以此分享给大家,不足之处望大家留言补充。
© 版权声明
本站网络名称:
乐商网络
本站永久网址:
https://ishoud.com
网站侵权说明:
本网站的文章部分内容可能来源于网络,仅供大家学习与参考,如有侵权,请联系站长QQ810066660删除处理。
1 本站一切资源不代表本站立场,并不代表本站赞同其观点和对其真实性负责。
2 本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现请向站长举报
3 本站资源大多存储在云盘,如发现链接失效,请联系我们我们会第一时间更新。
1 本站一切资源不代表本站立场,并不代表本站赞同其观点和对其真实性负责。
2 本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现请向站长举报
3 本站资源大多存储在云盘,如发现链接失效,请联系我们我们会第一时间更新。
THE END
暂无评论内容