当前位置：首页 > news >正文

Torchv Unstrustured 文档解析库

news 2025/7/29 22:37:34

一个强大且开发者友好的文档解析库，专为RAG（检索增强生成）应用优化。基于Apache Tika、Apache POI和PDFBox等业界标准Java库构建，TorchV Unstructured提供了增强的解析能力，具备智能表格结构识别和内容提取功能。

🚀 核心特性

智能表格解析：先进的表格结构分析，支持复杂单元格合并检测
多格式支持：无缝处理DOC、DOCX、PDF等多种文档格式
RAG优化输出：专为AI/ML管道设计的结构化内容提取
Markdown和HTML导出：灵活的输出格式，保持表格结构完整性
图像提取：自动提取和处理嵌入式图像
内存高效：优化的大文档处理，最小化内存占用

📦 安装

Maven

<dependency><groupId>com.torchv.infra</groupId><artifactId>torchv-unstructured</artifactId><version>1.0.0</version>
</dependency>

Gradle

implementation 'com.torchv.infra:torchv-unstructured:1.0.0'

🔧 快速开始

基础文档解析

import com.torchv.infra.unstructured.UnstructuredParser;

// 解析文档为Markdown格式（推荐用于RAG）
String content = UnstructuredParser.toMarkdown("document.docx");
System.out.println(content);

// 解析文档为带HTML表格的Markdown格式（保持表格结构）
String contentWithTables = UnstructuredParser.toMarkdownWithHtmlTables("document.docx");
System.out.println(contentWithTables);

高级表格提取

import com.torchv.infra.unstructured.UnstructuredParser;

import java.io.File;
import java.util.List;

// 仅提取Word文档中的表格
List<String> tables = UnstructuredParser.extractTables("document.docx");
for (int i = 0; i < tables.size(); i++) {System.out.println("表格 " + (i + 1) + ":");System.out.println(tables.get(i));
}

// 获取结构化结果，提供更多控制
DocumentResult result = UnstructuredParser.toStructuredResult("document.docx");
if (result.isSuccess()) {System.out.println("内容: " + result.getContent());System.out.println("表格: " + result.getTables());
}

文件格式支持

import com.torchv.infra.unstructured.UnstructuredParser;
import com.torchv.infra.unstructured.util.UnstructuredUtils;

// 检查文件格式是否支持
if (UnstructuredUtils.isSupportedFormat("document.docx")) {String content = UnstructuredParser.toMarkdownWithHtmlTables("document.docx");System.out.println("解析成功！");
} else {System.out.println("不支持的文件格式");
}

// 获取所有支持的格式
List<String> supportedFormats = UnstructuredUtils.getSupportedFormats();
System.out.println("支持的格式: " + String.join(", ", supportedFormats));

🎯 核心组件

统一入口

UnstructuredParser：主要入口类，为所有文档解析操作提供简单统一的API

文档解析器

UnstructuredWord：通用Word文档解析器，支持自动检测
TikaAutoUtils：支持自动检测的通用文档解析器（底层实现）
WordTableParser：专业的Word文档表格解析器
DocxTableParser：高级DOCX表格结构分析器

内容处理器

ToMarkdownWithHtmlTableContentHandler：将文档转换为带HTML表格的Markdown
DocMarkdownWithHtmlTableContentHandler：专门的DOC格式处理器
DocXMarkdownWithHtmlTableContentHandler：专门的DOCX格式处理器

表格分析

TableStructureAnalyzer：智能表格结构识别
CellMergeAnalyzer：高级单元格合并检测
HtmlTableBuilder：清洁的HTML表格生成器

实用工具

FileMagicUtils：文件类型检测和验证
ImageExtractParse：嵌入式图像提取

🔍 高级用法

RAG应用集成

import com.torchv.infra.unstructured.UnstructuredParser;
import com.torchv.infra.unstructured.core.DocumentResult;

// 为RAG应用优化
public class RAGDocumentProcessor {
public DocumentChunk processDocument(String filePath) {// 解析时保持表格结构以获得更好的上下文String content = UnstructuredParser.toMarkdownWithHtmlTables(filePath);
// 单独提取表格用于结构化数据处理List<String> tables = UnstructuredParser.extractTables(filePath);
return new DocumentChunk(content, tables);}
}

批量处理

import com.torchv.infra.unstructured.UnstructuredParser;
import com.torchv.infra.unstructured.util.UnstructuredUtils;

public class BatchProcessor {
public void processBatch(List<String> filePaths) {filePaths.parallelStream().filter(UnstructuredUtils::isSupportedFormat).forEach(this::processFile);}
private void processFile(String filePath) {try {String content = UnstructuredParser.toMarkdownWithHtmlTables(filePath);// 保存或进一步处理内容saveProcessedContent(filePath, content);} catch (Exception e) {log.error("处理文件失败: {}", filePath, e);}}
}

错误处理和验证

import com.torchv.infra.unstructured.UnstructuredParser;
import com.torchv.infra.unstructured.util.UnstructuredUtils;

public class DocumentValidator {public ProcessingResult validateAndProcess(String filePath) {// 检查文件格式if (!UnstructuredUtils.isSupportedFormat(filePath)) {return ProcessingResult.unsupportedFormat();}try {String content = UnstructuredParser.toMarkdownWithHtmlTables(filePath);List<String> tables = UnstructuredParser.extractTables(filePath);return ProcessingResult.success(content, tables);} catch (RuntimeException e) {return ProcessingResult.error(e.getMessage());}}
}