当前位置：首页 > news >正文

如何保存解析后的商品信息？

news 来源：原创 2025/5/21 15:29:11

保存解析后的商品信息是爬虫开发中的一个重要步骤。根据实际需求，你可以选择将数据保存到文件、数据库或内存中。以下是一些常见的保存方法及其示例代码：

一、保存到文件

（一）保存为 JSON 文件

将商品信息保存为 JSON 格式，方便后续处理和分析。

java

import com.fasterxml.jackson.databind.ObjectMapper;import java.io.File;
import java.io.IOException;
import java.util.List;
import java.util.Map;public class SaveToFile {public static void saveAsJson(List<Map<String, String>> products, String filePath) {ObjectMapper objectMapper = new ObjectMapper();try {objectMapper.writeValue(new File(filePath), products);System.out.println("数据已保存到 JSON 文件：" + filePath);} catch (IOException e) {e.printStackTrace();}}
}

（二）保存为 CSV 文件

将商品信息保存为 CSV 格式，方便导入到 Excel 或其他数据分析工具中。

java

import com.opencsv.CSVWriter;import java.io.FileWriter;
import java.io.IOException;
import java.util.List;
import java.util.Map;public class SaveToFile {public static void saveAsCsv(List<Map<String, String>> products, String filePath) {try (CSVWriter writer = new CSVWriter(new FileWriter(filePath))) {// 写入表头String[] headers = {"title", "price", "description", "image_url"};writer.writeNext(headers);// 写入商品数据for (Map<String, String> product : products) {String[] data = {product.get("title"),product.get("price"),product.get("description"),product.get("image_url")};writer.writeNext(data);}System.out.println("数据已保存到 CSV 文件：" + filePath);} catch (IOException e) {e.printStackTrace();}}
}

二、保存到数据库

（一）保存到 MySQL 数据库

将商品信息保存到 MySQL 数据库中，方便后续查询和分析。

java

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.List;
import java.util.Map;public class SaveToDatabase {public static void saveToMySQL(List<Map<String, String>> products, String url, String user, String password) {String insertSQL = "INSERT INTO products (title, price, description, image_url) VALUES (?, ?, ?, ?)";try (Connection conn = DriverManager.getConnection(url, user, password);PreparedStatement pstmt = conn.prepareStatement(insertSQL)) {for (Map<String, String> product : products) {pstmt.setString(1, product.get("title"));pstmt.setString(2, product.get("price"));pstmt.setString(3, product.get("description"));pstmt.setString(4, product.get("image_url"));pstmt.addBatch();}pstmt.executeBatch();System.out.println("数据已保存到 MySQL 数据库");} catch (SQLException e) {e.printStackTrace();}}
}

（二）保存到 MongoDB 数据库

将商品信息保存到 MongoDB 数据库中，方便后续查询和分析。

java

import com.mongodb.client.MongoClients;
import com.mongodb.client.MongoClient;
import com.mongodb.client.MongoDatabase;
import com.mongodb.client.MongoCollection;
import com.mongodb.client.MongoCursor;
import org.bson.Document;import java.util.List;
import java.util.Map;public class SaveToDatabase {public static void saveToMongoDB(List<Map<String, String>> products, String uri, String dbName, String collectionName) {try (MongoClient mongoClient = MongoClients.create(uri)) {MongoDatabase database = mongoClient.getDatabase(dbName);MongoCollection<Document> collection = database.getCollection(collectionName);for (Map<String, String> product : products) {Document document = new Document();document.append("title", product.get("title"));document.append("price", product.get("price"));document.append("description", product.get("description"));document.append("image_url", product.get("image_url"));collection.insertOne(document);}System.out.println("数据已保存到 MongoDB 数据库");}}
}

三、保存到内存

（一）保存到内存中的数据结构

将商品信息保存到内存中的数据结构中，如 List 或 Map，方便后续处理。

java

import java.util.ArrayList;
import java.util.List;
import java.util.Map;public class SaveToMemory {public static List<Map<String, String>> saveToMemory(List<Map<String, String>> products) {List<Map<String, String>> memoryData = new ArrayList<>();memoryData.addAll(products);System.out.println("数据已保存到内存");return memoryData;}
}