网站综合查询
更新时间:2017-01-14 07:42:14 | ||
网站域名: | ||
网站标题: | ℃冻番茄's Blog | 记录平时工作、学习… |
|
网站简介: | 记录平时工作、学习... |
|
网站关键字: | 自行填写 |
|
9;s Blog记录平时工作、学习… 首页java/ssh/webxcentos/nginx/apacheRedis/Memcache/Mongodb图片/文字我的作品随心日志 七牛免费云存储2015年07月17日|图片/文字|1 条评论 免费用户10G空间,月流量10Ghttps://portal.qiniu.com/signup好东西 分享一个java写的redis共享的BloomFilter类2015年05月06日|图片/文字|1 条评论 最近在写一个多台机器分布式的DHT磁力链爬虫,有大量的HashInfo需要去重好去拉种子取种子信息,之前用redis hash来实现去重,但内存消耗有点恐怖,mysql唯一索引去重也严重影响整个系统的性能,后面决定用bloomFilter算法进行去重,具体的算法可以自行搜索。它的主要特点也就是三点:1、非常低的内存消耗2、存在的数据一定会返回已存在;3、不存的数据可能有一定的概率返回已存在,但这不是问题万分之一的失败率也就是多丢弃几个HashInfo而以,可以通过调整hash分段等来调整失败概率。搜索了下bloomfilter算法实现类都是单机的,无法实现多机共享。redis原生支持setbig和getbig命令可以使用bloomFilter算法,所以自己写了redis版的bloomFilter类。受限于redis单bigset 512M内存
|
友情链接: |
网站: | phpd.cn |
网站IP: | 45.62.118.5 |
服务器地址: | 美国 |
域名IP信息: |
域名Whois: | |
Domain Name: phpd.cn ROID: 20070309s10001s31231132-cn Domain Status: clientDeleteProhibited Domain Status: clientTransferProhibited Registrant ID: 22cn120625jviabz Registrant: 熊志勇 Registrant Contact Email: nash.xiong#gmail.com Sponsoring Registrar: 浙江贰贰网络有限公司 Name Server: f1g1ns1.dnspod.net Name Server: f1g1ns2.dnspod.net Registration Time: 2007-03-09 19:32:25 Expiration Time: 2017-03-09 19:32:25 DNSSEC: unsigned |
评论信息 | |
点评:你的phpd.cn是很有发展潜力的站,加油! | |
您的帐号尚未登录,请 登录 或 注册帐号! |
网站缩略图 |
![]() |
网站头文件(header信息) |
HTTP/1.1 200 OK
Server: nginx Date: Fri, 13 Jan 2017 23:42:14 GMT Content-Type: text/html; charset=UTF-8 Transfer-Encoding: chunked Connection: keep-alive Vary: Accept-Encoding X-Powered-By: PHP/5.4.45 Link: Content-Encoding: gzip |