当前位置：首页 > news >正文

Java学习笔记-XXH3哈希算法

news 2025/7/5 0:08:34

XXH3是由Yann Collet设计的非加密哈希算法，属于XXHash系列的最新变种，专注于极速性能与低碰撞率，适用于对计算效率要求极高的场景。

极速性能

在RAM速度限制下运行，小数据（如 1-128 字节）处理可达纳秒级，吞吐率高达 0.24–0.71 GB/s。
大数据（如 100KB）处理可在微秒级完成，性能远超传统哈希算法（如 MD5、SHA-1）。

确定性输出

所有平台（little/big endian）对相同输入生成一致的哈希值，确保跨环境兼容性。

多平台优化

支持 SSE2、AVX2 等指令集加速，适配不同硬件架构以最大化性能。

使用

Python可以提供第三方库的支持，相关的使用也比较简单，只需要安装第三方库即可。

pip install xxhash
简单的几个使用示例如下：

from xxhash import xxh3_64_intdigest
from xxhash import xxh3_128_intdigest
from xxhash import xxh3_128_hexdigest
	
MAX_INT64 = sys.maxsize  # (1 << 63) - 1

def xxh3_64_digest_int(*args: str) -> int:
    return xxh3_64_intdigest("".join(args))

def xxh3_128_digest_int(*args: str) -> int:
    return xxh3_128_intdigest("".join(args))

def xxh3_128_digest_hex(*args: str) -> int:
    return xxh3_128_hexdigest("".join(args))

Java同样提供了第三方库的支持，只需要引入相关的依赖包。

引入依赖。开源提供的依赖还是挺多的，比如zero-allocation-hashing、hash4j等。需要注意的是hash4j依赖包后续的版本需要JDK11+。

<!-- ZeroAllocationHashing依赖包 -->
<dependency>
    <groupId>net.openhft</groupId>
    <artifactId>zero-allocation-hashing</artifactId>
    <version>0.16</version>
</dependency>

<dependency>
    <groupId>com.dynatrace.hash4j</groupId>
    <artifactId>hash4j</artifactId>
    <version>0.20.0</version>
</dependency>

zero-allocation-hashing依赖包的几个简单使用示例如下：

import lombok.extern.slf4j.Slf4j;
import net.openhft.hashing.LongHashFunction;
import net.openhft.hashing.LongTupleHashFunction;

import java.math.BigInteger;

/**
 *
 * @description Digest Utils
 * @author 
 */
@Slf4j
public class DigestUtils {

    /**
     * xx3 hash 64 bits
     * @param source
     * @return
     */
    public static long xx3Hash64Bits(String source) {
        return LongHashFunction.xx3().hashBytes(source.getBytes());
    }

    /**
     * xx3 hash 128 bits
     * @param source
     * @return
     */
    public static BigInteger xx3Hash128Bits(String source) {
        long[] hashes = LongTupleHashFunction.xx128().hashBytes(source.getBytes());
        /**
        // 处理为无符号
        BigInteger unsignedHigh = new BigInteger(1, toBytes(hashes[1]));
        BigInteger unsignedLow = new BigInteger(1, toBytes(hashes[0]));
        **/
        return new BigInteger(1, toBytes(hashes[1])).shiftLeft(64).add(new BigInteger(1, toBytes(hashes[0])));
    }

    /**
     * xx3 hash 128 bits digest
     * @param source
     * @return
     */
    public static String xx3Hash128BitsDigest(String source) {
        return xx3Hash128Bits(source).toString(16);
    }

    private static byte[] toBytes(long value) {
        byte[] bytes = new byte[8];
        for (int i = 7; i >= 0; i--) {
            bytes[i] = (byte) (value & 0xFF); // 取低8位
            value >>>= 8; // 无符号右移，高位补0
        }
        return bytes;
    }

}