批量插入数据可提升MySQL插入效率,常用方法包括多行VALUES语句、LOAD DATA INFILE和程序生成SQL;建议结合事务控制与索引优化,根据数据量选择合适方式。
在MySQL中批量插入数据,可以显著提升插入效率,避免逐条插入带来的性能开销。最常用的方式是使用 INSERT INTO … VALUES 语句配合多行值列表。
使用多行VALUES插入
在一条INSERT语句中插入多条记录,语法如下:
INSERT INTO table_name (column1, column2, column3) VALUES (value1a, value2a, value3a), (value1b, value2b, value3b), (value1c, value2c, value3c);
例如,向用户表批量插入数据:
INSERT INTO users (name, age, email) VALUES ('张三', 25, 'zhangsan@example.com'), ('李四', 30, 'lisi@example.com'), ('王五', 28, 'wangwu@example.com');
这种方式比循环执行单条INSERT快很多,因为减少了网络往返和事务开销。
从文件导入数据(LOAD DATA INFILE)
如果数据量非常大,推荐使用 LOAD DATA INFILE 命令,速度更快。
LOAD DATA INFILE '/path/to/data.csv' INTO TABLE users FIELDS TERMINATED BY ',' LINES TERMINATED BY 'n' (name, age, email);
注意:需要确保MySQL服务器有权限读取该文件,且secure_file_priv配置允许该路径。
使用程序批量生成SQL(如Python)
在应用层拼接多行VALUES语句也是一种常见做法。例如用Python构造:
values = [ ("Alice", 24, "alice@example.com"), ("Bob", 27, "bob@example.com"), ("Charlie", 31, "charlie@example.com") ] sql = "INSERT INTO users (name, age, email) VALUES " sql += ", ".join([f"('{name}', {age}, '{email}')" for name, age, email in values]) cursor.execute(sql)
注意防止SQL注入,生产环境建议使用参数化批量插入(如executemany)。
优化建议
为了进一步提升性能,可以考虑以下几点:
- 将多条插入放在一个事务中,减少提交开销
- 关闭自动提交(autocommit=0),手动COMMIT
- 控制每条INSERT的行数,通常100~1000行较合适,避免SQL过长
- 确保目标表有合适的索引,但大量插入时可考虑先删除非主键索引,插完再重建
基本上就这些方法,根据数据量和使用场景选择最合适的方式。