从0到1写一个适用于Node.js的User Agent生成库

---

从0到1写一个适用于Node.js的User Agent生成库

在现代Web开发中，User Agent（用户代理）字符串扮演着重要角色。无论是爬虫开发、自动化测试，还是反爬虫检测，一个高质量的User Agent生成库都是不可或缺的工具。本文将详细介绍如何从零开始构建一个功能完善、性能优异的User Agent生成库。

🎯 项目背景与需求分析

为什么需要User Agent生成库？

在Web开发的实际场景中，我们经常需要模拟不同的浏览器环境：

1. Web爬虫开发：避免被目标网站识别为机器人
2. 自动化测试：模拟不同浏览器和设备的访问行为
3. 代理服务：为不同客户端提供合适的User Agent
4. 安全测试：模拟各种攻击场景和用户行为

现有方案的痛点

市面上的User Agent生成库普遍存在以下问题：

• 数据陈旧：版本信息更新不及时，容易被识别
• 分布不真实：随机生成，不符合真实用户的使用分布
• 性能较差：批量生成时效率低下
• 功能单一：只能生成字符串，缺乏结构化信息

🏗️ 架构设计思路

核心设计原则

1. 真实性优先：基于真实浏览器使用数据，采用权重分布
2. 高性能：支持批量生成，毫秒级响应
3. 可扩展性：数据与逻辑分离，支持自定义扩展
4. 类型安全：完整的TypeScript支持

整体架构

user-agent-generator/
├── /data/                  # 数据层：各浏览器版本信息
├── /src/
│   ├── generator.ts       # 核心生成逻辑
│   ├── utils.ts           # 工具函数（权重算法）
│   ├── metaBuilder.ts     # 元信息构建
│   └── types.ts           # 类型定义
└── /test/                 # 测试套件

🔧 核心技术实现

1. 权重分布算法

真实的浏览器使用存在明显的版本分布规律，最新版本使用率最高，老版本使用率递减。我们设计了权重分布系统：

// Chrome版本权重分布示例
{"versions": [{"value": "124","weight": 25,        // 最新版本权重最高"subValue": [{ "value": "124.0.6367.91" },{ "value": "124.0.6367.92" }]},{"value": "123","weight": 20        // 次新版本权重次之},{"value": "94","weight": 1         // 老版本权重最低}]
}

权重选择算法实现：

/*** Weighted random selection with sub-value support* 支持子值的权重随机选择算法*/
export function pickWeightedVersionWithSubValue(versions: WeightedVersionWithSubValue[],random: number = Math.random(),
): string {const totalWeight = versions.reduce((sum, v) => sum + v.weight, 0);let currentWeight = 0;const target = random * totalWeight;for (const version of versions) {currentWeight += version.weight;if (target <= currentWeight) {// 如果有子值，随机选择一个子值if (version.subValue && version.subValue.length > 0) {const subIndex = Math.floor(Math.random() * version.subValue.length);return version.subValue[subIndex].value;}return version.value;}}return versions[versions.length - 1].value;
}

2. 性能优化策略

随机数池优化

频繁调用Math.random()会影响性能，我们采用随机数池：

// 预生成随机数池
const randomPool: number[] = [];
const POOL_SIZE = 1000;for (let i = 0; i < POOL_SIZE; i++) {randomPool.push(Math.random());
}let randomIndex = 0;function getRandom(): number {if (randomIndex >= POOL_SIZE) {randomIndex = 0;// 重新填充随机数池for (let i = 0; i < POOL_SIZE; i++) {randomPool[i] = Math.random();}}return randomPool[randomIndex++];
}

数据缓存机制

避免重复读取JSON文件：

// 缓存所有数据文件内容
const dataCache: Record<string, any> = {};function getCachedData(file: string): any {if (!dataCache[file]) {try {dataCache[file] = require(`../data/${file}`);} catch (error) {throw new Error(`Failed to load data file: ${file}`);}}return dataCache[file];
}

3. User Agent字符串构建

不同浏览器和设备的UA字符串格式差异很大，我们需要精确还原：

const deviceUAInfo = {mac: {osString: (osVersion: string) => `Macintosh; Intel Mac OS X ${osVersion.replace(/\./g, '_')}`,device: 'desktop',os: 'macos',},windows: {osString: (osVersion: string) => {const versionMap: Record<string, string> = {'7': '6.1','8': '6.2','8.1': '6.3','10': '10.0','11': '10.0',};const ntVersion = versionMap[osVersion] || '10.0';return `Windows NT ${ntVersion}; Win64; x64`;},device: 'desktop',os: 'windows',},
};

Chrome UA生成示例：

case 'chrome': {const chromeData = getCachedData('chrome.json');const chromeVersion = selectVersion(chromeData.versions);const webkitVersion = selectVersion(chromeData.webkitVersions);const safariVersion = selectVersion(chromeData.safariVersions);ua = `Mozilla/5.0 (${osString}) AppleWebKit/${webkitVersion} (KHTML, like Gecko) Chrome/${chromeVersion} Safari/${safariVersion}`;break;
}

4. 类型安全设计

完整的TypeScript类型定义确保开发体验：

export interface GenerateUserAgentOptions {browser?: BrowserType;device?: DeviceType;count?: number;withMeta?: boolean;
}export interface UserAgentWithMeta {ua: string;meta: {browser: {name: BrowserType;version: string;};os: {name: OSType;version: string;};device: 'desktop' | 'mobile' | 'tablet';};
}

📊 数据设计与维护

数据文件结构

每个浏览器/操作系统都有独立的JSON数据文件：

{"versions": [{"value": "124","weight": 25,"subValue": [{ "value": "124.0.6367.91" },{ "value": "124.0.6367.92" }]}],"webkitVersions": [...],"safariVersions": [...]
}

数据更新策略

1. 定期监控：跟踪主流浏览器版本发布
2. 权重调整：根据使用统计调整版本权重
3. 自动化测试：确保数据格式正确性

🧪 测试体系设计

测试覆盖范围

1. 功能测试：验证各种参数组合的正确性
2. 性能测试：批量生成10000条UA < 100ms
3. 数据一致性测试：验证所有数据文件格式
4. 权重分布测试：验证随机分布的正确性
5. 边界情况测试：处理异常输入

性能测试示例

describe('Performance Tests', () => {test('should generate 10000 UAs in less than 100ms', () => {const startTime = Date.now();generateUserAgent({browser: 'chrome',device: 'mac',count: 10000,});const endTime = Date.now();const duration = endTime - startTime;expect(duration).toBeLessThan(100);});
});

🚀 API设计与使用体验

简洁的API设计

// 基础用法
const ua = generateUserAgent({browser: 'chrome',device: 'mac',
});// 批量生成
const uas = generateUserAgent({browser: 'chrome',device: 'mac',count: 100,
});// 带元信息
const result = generateUserAgent({browser: 'chrome',device: 'mac',withMeta: true,
});

智能类型推导

根据参数自动推导返回类型：

export function generateUserAgent(options: GenerateUserAgentOptions = {},
): string | UserAgentWithMeta | (string | UserAgentWithMeta)[] {// 实现逻辑...
}

📦 发布与分发

NPM包优化

1. 文件筛选：只包含必要文件
2. 体积控制：压缩包仅14.1KB
3. 版本管理：语义化版本控制

{"files": ["dist", "data", "README.md", "LICENSE"],"main": "dist/index.js","types": "dist/index.d.ts"
}

构建流程

{"scripts": {"build": "tsc","test": "jest","prepublishOnly": "npm run build && npm test"}
}

🎯 实际应用场景

1. Web爬虫应用

import { generateUserAgent } from '@imaginerlabs/user-agent-generator';// 为爬虫请求池生成不同的UA
const userAgents = generateUserAgent({count: 100,browser: 'chrome',
});// 在请求中使用
const response = await fetch(url, {headers: {'User-Agent': userAgents[Math.floor(Math.random() * userAgents.length)],},
});

2. 自动化测试

// Puppeteer测试中使用
const ua = generateUserAgent({browser: 'chrome',device: 'mac',
});await page.setUserAgent(ua);

3. 代理服务

// Express中间件
app.use((req, res, next) => {if (!req.headers['user-agent']) {const ua = generateUserAgent();req.headers['user-agent'] = ua;}next();
});

📈 性能表现

经过优化，我们的库实现了：

• 生成速度：10000条UA < 100ms
• 包体积：压缩后仅14.1KB
• 内存占用：数据缓存机制，避免重复加载
• CPU效率：随机数池优化，减少系统调用

💡 总结

通过本文的介绍，从零开始构建了一个功能完善的User Agent生成库。关键成功因素包括：

1. 真实数据驱动：基于真实使用分布的权重系统
2. 性能优化：随机数池和数据缓存机制
3. 架构设计：数据与逻辑分离，易于维护扩展
4. 完善测试：多维度测试保障代码质量
5. 用户体验：简洁API和完整类型支持

---

项目地址：@imaginerlabs/user-agent-generator

安装使用：

npm i @imaginerlabs/user-agent-generator