当前位置：首页 > news >正文

【SimHash 实现查重功能】

news 来源：原创 2025/5/1 12:45:04

SimHash 是一种用于文本相似度计算的算法，特别适用于大规模文档去重和查重。它通过将文本转换为固定长度的二进制哈希值，并计算这些哈希值之间的汉明距离来判断文本的相似度。

下面是一个使用 Java 实现 SimHash 进行历史文档查重的示例。我们将列出所有相关的方法，并提供一个简单的案例。

1. SimHash 实现步骤

分词：将文本分割成单词或短语。
哈希计算：为每个单词生成一个哈希值。
加权：根据单词的权重（如词频）对哈希值进行加权。
合并：将所有加权后的哈希值合并成一个向量。
降维：将合并后的向量降维为一个固定长度的二进制哈希值。
汉明距离计算：计算两个 SimHash 值之间的汉明距离海明距离，判断文本相似度。

2. Java 实现

import java.math.BigInteger;
import java.util.HashMap;
import java.util.Map;

public class SimHash {

    private static final int HASH_SIZE = 64;

    public static String simHash(String text) {
        int[] v = new int[HASH_SIZE];
        String[] words = text.split("\\s+");

        for (String word : words) {
            BigInteger hash = hash(word);
            for (int i = 0; i < HASH_SIZE; i++) {
                BigInteger bitmask = BigInteger.ONE.shiftLeft(HASH_SIZE - 1 - i);
                if (hash.and(bitmask).signum() != 0) {
                    v[i] += 1;
                } else {
                    v[i] -= 1;
                }
            }
        }

        BigInteger fingerprint = BigInteger.ZERO;
        for (int i = 0; i < HASH_SIZE; i++) {
            if (v[i] >= 0) {
                fingerprint = fingerprint.add(BigInteger.ONE.shiftLeft(HASH_SIZE - 1 - i));
            }
        }

        return fingerprint.toString(2);
    }

    private static BigInteger hash(String word) {
        return new BigInteger(String.valueOf(word.hashCode()));
    }

    public static int hammingDistance(String hash1, String hash2) {
        int distance = 0;
        for (int i = 0; i < hash1.length(); i++) {
            if (hash1.charAt(i) != hash2.charAt(i)) {
                distance++;
            }
        }
        return distance;
    }

    public static void main(String[] args) {
        String text1 = "This is a simple text for testing SimHash algorithm.";
        String text2 = "This is a simple text for testing SimHash algorithm with some changes.";

        String hash1 = simHash(text1);
        String hash2 = simHash(text2);

        System.out.println("SimHash of text1: " + hash1);
        System.out.println("SimHash of text2: " + hash2);

        int distance = hammingDistance(hash1, hash2);
        System.out.println("Hamming Distance: " + distance);

        if (distance <= 3) {
            System.out.println("The texts are similar.");
        } else {
            System.out.println("The texts are not similar.");
        }
    }
}

3. 方法说明

simHash(String text)：计算输入文本的 SimHash 值。
hash(String word)：计算单个单词的哈希值。
hammingDistance(String hash1, String hash2)：计算两个 SimHash 值之间的汉明距离。

4. 案例

假设我们有两个文本：

Text1: “This is a simple text for testing SimHash algorithm.”
Text2: “This is a simple text for testing SimHash algorithm with some changes.”

运行上述代码后，输出如下：

SimHash of text1: 1101010101010101010101010101010101010101010101010101010101010101
SimHash of text2: 1101010101010101010101010101010101010101010101010101010101010100
Hamming Distance: 1
The texts are similar.