mysql数据库配置
### 配置 MySQL 数据库以支持从 CSV 文件读取数据并写入
#### 1. 创建数据库和表
在将数据写入 MySQL 数据库之前，需要创建相应的数据库和表来存储数据。假设要存储的数据包含四个字段：`userId`, `productId`, `score`, 和 `timestamp`。
示例 SQL 脚本：
```sql
CREATE DATABASE IF NOT EXISTS my_database;
USE my_database;
CREATE TABLE IF NOT EXISTS ratings (
userId INT,
productId INT,
score FLOAT,
timestamp BIGINT,
PRIMARY KEY (userId, productId)
);
```
---
#### 2. 配置 MySQL 用户权限
确保用于连接的 MySQL 用户具有足够的权限执行插入操作。可以通过以下命令授予用户必要的权限：
示例 SQL 脚本：
```sql
GRANT INSERT ON my_database.* TO 'your_user'@'localhost' IDENTIFIED BY 'your_password';
FLUSH PRIVILEGES;
```
替换 `'your_user'` 和 `'your_password'` 为实际使用的用户名和密码。
---
#### 3. 设置 JDBC 连接参数
为了通过 Spark 或其他工具访问 MySQL 数据库，需要提供正确的 JDBC URL 和属性。JDBC URL 的标准格式如下所示：
URL 格式：
```plaintext
jdbc:mysql://<host>:<port>/<database>?useSSL=false&serverTimezone=UTC
```
例如：
```plaintext
jdbc:mysql://localhost:3306/my_database?useSSL=false&serverTimezone=UTC
```
Properties 属性配置：
```java
Properties connectionProps = new Properties();
connectionProps.put("user", "your_user");
connectionProps.put("password", "your_password");
```
---
#### 4. 启用批量插入以提高性能
当向 MySQL 插入大量数据时，启用批量模式可以显著提升效率。可以在 Spark 中设置 `batchsize` 参数来控制每次提交的记录数。
示例代码片段：
```scala
df.write
.option("batchsize", "1000") // 每次提交 1000 条记录
.mode("append")
.jdbc(jdbcUrl, "ratings", connectionProps)
```
---
#### 5. 索引优化
对于频繁查询的表，应考虑为主键或其他常用查询条件添加索引。这有助于加速后续的数据检索过程。
示例 SQL 脚本：
```sql
ALTER TABLE ratings ADD INDEX idx_score(score);
ALTER TABLE ratings ADD INDEX idx_timestamp(timestamp);
```
---
#### 6. 测试连接
最后，在正式运行程序前测试数据库连接是否正常工作。可以编写简单的 Java/Scala 应用程序验证连接状态。
示例代码：
```java
try {
Connection conn = DriverManager.getConnection(
"jdbc:mysql://localhost:3306/my_database?useSSL=false&serverTimezone=UTC",
"your_user",
"your_password"
);
System.out.println("Connection successful!");
} catch (SQLException e) {
e.printStackTrace();
}
```
---
### 总结
以上步骤描述了如何配置 MySQL 数据库以便于从 CSV 文件读取数据并写入其中的关键环节：
- **创建数据库和表**：设计适合存储数据的结构。
- **配置用户权限**：赋予适当的操作权限给应用程序使用。
- **设定 JDBC 参数**：构建合适的连接字符串以及认证信息。
- **调整性能选项**：采用批处理方式加快大数据量传输速度。
- **实施索引策略**：增强未来可能涉及的各种查询效能。
- **确认连通性状况**：预先排除潜在网络或者安全层面障碍。