当前位置：首页 > news >正文

如何保存解析后的商品详情数据？

news 2025/7/10 3:41:43

在爬虫开发中，保存解析后的商品详情数据是常见的需求。保存数据的方式可以根据具体需求选择，常见的保存方式包括：保存到文件（如CSV、JSON）、保存到数据库（如MySQL、MongoDB）或直接输出到控制台。以下将详细介绍如何在Java中实现这些保存方式。

一、保存到文件

（一）保存为CSV文件

CSV文件是一种常见的文本文件格式，适合保存表格数据。可以使用java.io包中的类来写入CSV文件。

import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;
import java.util.Map;

public class CsvWriter {
    public static void saveToCsv(String filePath, Map<String, String> productDetails) {
        try (BufferedWriter writer = new BufferedWriter(new FileWriter(filePath, true))) {
            if (new java.io.File(filePath).length() == 0) {
                writer.write("Title,Price,Description,Image_URL\n");
            }
            writer.write(String.format("%s,%s,%s,%s\n",
                    productDetails.get("title"),
                    productDetails.get("price"),
                    productDetails.get("description"),
                    productDetails.get("image_url")));
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

（二）保存为JSON文件

JSON文件是一种轻量级的数据交换格式，适合保存结构化数据。可以使用org.json库来生成JSON文件。

import org.json.JSONObject;
import java.io.BufferedWriter;
import java.io.FileWriter;
import java.io.IOException;
import java.util.Map;

public class JsonWriter {
    public static void saveToJson(String filePath, Map<String, String> productDetails) {
        JSONObject jsonObject = new JSONObject(productDetails);
        try (BufferedWriter writer = new BufferedWriter(new FileWriter(filePath, true))) {
            writer.write(jsonObject.toString(4)); // 格式化输出
            writer.newLine();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

二、保存到数据库

（一）保存到MySQL数据库

可以使用JDBC连接MySQL数据库，并将数据插入到表中。

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.Map;

public class MySqlSaver {
    private static final String DB_URL = "jdbc:mysql://localhost:3306/your_database";
    private static final String USER = "your_username";
    private static final String PASS = "your_password";

    public static void saveToDatabase(Map<String, String> productDetails) {
        String sql = "INSERT INTO products (title, price, description, image_url) VALUES (?, ?, ?, ?)";
        try (Connection conn = DriverManager.getConnection(DB_URL, USER, PASS);
             PreparedStatement pstmt = conn.prepareStatement(sql)) {
            pstmt.setString(1, productDetails.get("title"));
            pstmt.setString(2, productDetails.get("price"));
            pstmt.setString(3, productDetails.get("description"));
            pstmt.setString(4, productDetails.get("image_url"));
            pstmt.executeUpdate();
        } catch (SQLException e) {
            e.printStackTrace();
        }
    }
}

（二）保存到MongoDB数据库

可以使用MongoDB的Java驱动程序将数据保存到MongoDB集合中。

import com.mongodb.client.MongoClients;
import com.mongodb.client.MongoClient;
import com.mongodb.client.MongoDatabase;
import com.mongodb.client.MongoCollection;
import org.bson.Document;
import java.util.Map;

public class MongoDbSaver {
    private static final String CONNECTION_STRING = "mongodb://localhost:27017";
    private static final String DATABASE_NAME = "your_database";
    private static final String COLLECTION_NAME = "products";

    public static void saveToMongoDB(Map<String, String> productDetails) {
        try (MongoClient mongoClient = MongoClients.create(CONNECTION_STRING)) {
            MongoDatabase database = mongoClient.getDatabase(DATABASE_NAME);
            MongoCollection<Document> collection = database.getCollection(COLLECTION_NAME);
            Document document = new Document(productDetails);
            collection.insertOne(document);
        }
    }
}

三、直接输出到控制台

如果只是想查看数据，可以直接将解析后的数据输出到控制台。

import java.util.Map;

public class ConsoleOutput {
    public static void outputToConsole(Map<String, String> productDetails) {
        System.out.println("商品名称: " + productDetails.get("title"));
        System.out.println("商品价格: " + productDetails.get("price"));
        System.out.println("商品描述: " + productDetails.get("description"));
        System.out.println("商品图片URL: " + productDetails.get("image_url"));
    }
}