我的爬蟲url去重采用布隆過濾器。但是考慮到系統(tǒng)停止再次運(yùn)行后，會丟失布隆過濾器的信息，于是為了讓布隆過濾器對象記住原來的值，所以必須對其進(jìn)行序列化與反序列化。這樣才能夠保證系統(tǒng)的正常運(yùn)行。對某個對象進(jìn)行序列化與反序列化需要讓對象所屬的類實(shí)現(xiàn)序列化接口。我由于采用的布隆過濾器是采用最簡單的那種，但由于這個布隆過濾器里面有內(nèi)部類，所以對該布隆過濾器類和其內(nèi)部類都要實(shí)現(xiàn)序列化接口，千萬不能忘了內(nèi)部類也要實(shí)現(xiàn)該接口。
下面開始上java代碼：
public class BloomFilter implements java.io.Serializable {
private final int DEFAULT_SIZE = 2 << 24;
private final int[] seeds = new int[] { 5, 7, 11, 13, 31, 37, 61 };
private BitSet bits = new BitSet(DEFAULT_SIZE);
private SimpleHash[] func = new SimpleHash[seeds.length];
public BloomFilter() {
for (int i = 0; i < seeds.length; i++) {
func[i] = new SimpleHash(DEFAULT_SIZE, seeds[i]);
}
}
public void add(String value) {
for (SimpleHash f : func) {
bits.set(f.hash(value), true);
}
}
public boolean contains(String value) {
if (value == null) {
return false;
}
boolean ret = true;
for (SimpleHash f : func) {
ret = ret && bits.get(f.hash(value));
}
return ret;
}
// 內(nèi)部類，simpleHash
public static class SimpleHash implements java.io.Serializable {
private int cap;
private int seed;
public SimpleHash(int cap, int seed) {
this.cap = cap;
this.seed = seed;
}
public int hash(String value) {
int result = 0;
int len = value.length();
for (int i = 0; i < len; i++) {
result = seed * result + value.charAt(i);
}
return (cap - 1) & result;
}
}
}
至于序列話與反序列化網(wǎng)上有很多，但都沒說保存在什么類型的文件中，但我保存的是.bat文件中，目前一切運(yùn)行正常。
