当前位置：首页 > wzjs >正文

做原创的网站中国十大电商培训机构

wzjs 2025/8/19 7:07:49

做原创的网站,中国十大电商培训机构,外国大气网站设计,汕尾海丰建设规划局网站保存解析后的商品信息是爬虫开发中的一个重要步骤。根据实际需求，你可以选择将数据保存到文件、数据库或内存中。以下是一些常见的保存方法及其示例代码： 一、保存到文件 （一）保存为 JSON 文件将商品信息保存为 JSON 格式&…

保存解析后的商品信息是爬虫开发中的一个重要步骤。根据实际需求，你可以选择将数据保存到文件、数据库或内存中。以下是一些常见的保存方法及其示例代码：

一、保存到文件

（一）保存为 JSON 文件

将商品信息保存为 JSON 格式，方便后续处理和分析。

java

import com.fasterxml.jackson.databind.ObjectMapper;import java.io.File;
import java.io.IOException;
import java.util.List;
import java.util.Map;public class SaveToFile {public static void saveAsJson(List<Map<String, String>> products, String filePath) {ObjectMapper objectMapper = new ObjectMapper();try {objectMapper.writeValue(new File(filePath), products);System.out.println("数据已保存到 JSON 文件：" + filePath);} catch (IOException e) {e.printStackTrace();}}
}

（二）保存为 CSV 文件

将商品信息保存为 CSV 格式，方便导入到 Excel 或其他数据分析工具中。

java

import com.opencsv.CSVWriter;import java.io.FileWriter;
import java.io.IOException;
import java.util.List;
import java.util.Map;public class SaveToFile {public static void saveAsCsv(List<Map<String, String>> products, String filePath) {try (CSVWriter writer = new CSVWriter(new FileWriter(filePath))) {// 写入表头String[] headers = {"title", "price", "description", "image_url"};writer.writeNext(headers);// 写入商品数据for (Map<String, String> product : products) {String[] data = {product.get("title"),product.get("price"),product.get("description"),product.get("image_url")};writer.writeNext(data);}System.out.println("数据已保存到 CSV 文件：" + filePath);} catch (IOException e) {e.printStackTrace();}}
}

二、保存到数据库

（一）保存到 MySQL 数据库

将商品信息保存到 MySQL 数据库中，方便后续查询和分析。

java

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.List;
import java.util.Map;public class SaveToDatabase {public static void saveToMySQL(List<Map<String, String>> products, String url, String user, String password) {String insertSQL = "INSERT INTO products (title, price, description, image_url) VALUES (?, ?, ?, ?)";try (Connection conn = DriverManager.getConnection(url, user, password);PreparedStatement pstmt = conn.prepareStatement(insertSQL)) {for (Map<String, String> product : products) {pstmt.setString(1, product.get("title"));pstmt.setString(2, product.get("price"));pstmt.setString(3, product.get("description"));pstmt.setString(4, product.get("image_url"));pstmt.addBatch();}pstmt.executeBatch();System.out.println("数据已保存到 MySQL 数据库");} catch (SQLException e) {e.printStackTrace();}}
}

（二）保存到 MongoDB 数据库

将商品信息保存到 MongoDB 数据库中，方便后续查询和分析。

java

import com.mongodb.client.MongoClients;
import com.mongodb.client.MongoClient;
import com.mongodb.client.MongoDatabase;
import com.mongodb.client.MongoCollection;
import com.mongodb.client.MongoCursor;
import org.bson.Document;import java.util.List;
import java.util.Map;public class SaveToDatabase {public static void saveToMongoDB(List<Map<String, String>> products, String uri, String dbName, String collectionName) {try (MongoClient mongoClient = MongoClients.create(uri)) {MongoDatabase database = mongoClient.getDatabase(dbName);MongoCollection<Document> collection = database.getCollection(collectionName);for (Map<String, String> product : products) {Document document = new Document();document.append("title", product.get("title"));document.append("price", product.get("price"));document.append("description", product.get("description"));document.append("image_url", product.get("image_url"));collection.insertOne(document);}System.out.println("数据已保存到 MongoDB 数据库");}}
}

三、保存到内存

（一）保存到内存中的数据结构

将商品信息保存到内存中的数据结构中，如 List 或 Map，方便后续处理。

java

import java.util.ArrayList;
import java.util.List;
import java.util.Map;public class SaveToMemory {public static List<Map<String, String>> saveToMemory(List<Map<String, String>> products) {List<Map<String, String>> memoryData = new ArrayList<>();memoryData.addAll(products);System.out.println("数据已保存到内存");return memoryData;}
}