php实现极速批量写入数据库1000万条数据

在PHP中批量写入大量数据到数据库，尤其是1000万条这样的数据，需要一些技巧和注意事项来确保效率和性能。以下是一些建议和步骤来实现这一目标：

1.选择合适的数据库引擎：首先，确保你使用的数据库引擎（如MySQL、PostgreSQL、SQLite等）支持批量插入，并且已经进行了适当的配置优化。

2.使用预处理和批处理：使用PDO（PHP Data Objects）来预处理SQL语句，并使用批处理来一次性执行多条插入语句。

3.调整数据库配置：

关闭自动提交事务（autocommit），因为批处理插入时，每次插入就提交事务会极大降低效率。
增大bulk_insert_buffer_size（对于MySQL），这可以加快INSERT … SELECT、INSERT … VALUES、LOAD DATA INFILE等语句的执行速度。
调整innodb_buffer_pool_size以适应你的内存大小，这对于InnoDB存储引擎尤为重要。
禁用索引和键约束，在批量插入后再重建，可以加快插入速度。
4.优化PHP代码：

尽量减少数据库连接次数，保持一个持久的连接。
使用事务来包裹整个批量插入过程，以减少提交次数。
使用commit()和rollback()来管理事务。
5.使用LOAD DATA INFILE（如果适用）：如果你的数据来自文件，并且你使用的是MySQL，那么LOAD DATA INFILE命令可能是最快的方法。它直接从文件读取数据并加载到数据库，而不需要PHP代码介入。

6.分批写入：如果你不能一次性加载所有数据，可以考虑将数据分成多个批次（比如每个批次10万条），然后对每个批次执行批量插入。

下面是一个简化的PHP代码示例，使用PDO进行批量插入：

<?php  

$dsn = 'mysql:host=localhost;dbname=yourdb;charset=utf8';  
$options = [  
    PDO::ATTR_ERRMODE            => PDO::ERRMODE_EXCEPTION,  
    PDO::ATTR_DEFAULT_FETCH_MODE => PDO::FETCH_ASSOC,  
    PDO::ATTR_EMULATE_PREPARES   => false,  
];  

try {  
    $pdo = new PDO($dsn, 'username', 'password', $options);  

    $pdo->setAttribute(PDO::ATTR_AUTOCOMMIT, 0); // Disable autocommit  

    $sql = "INSERT INTO your_table (column1, column2, column3) VALUES (?, ?, ?)";  
    $stmt = $pdo->prepare($sql);  

    // 假设有一个包含数据的数组  
    $data = [  
        ['value1', 'value2', 'value3'],  
        ['value4', 'value5', 'value6'],  
        // ... 以此类推，填充你的数据  
    ];  

    $batchSize = 1000; // 根据你的服务器性能调整批次大小  
    $count = count($data);  
    for ($i = 0; $i < $count; $i += $batchSize) {  
        $chunk = array_slice($data, $i, $batchSize);  
        $stmt->execute($chunk);  
    }  

    $pdo->commit(); // Commit the transaction  

} catch (\PDOException $e) {  
    $pdo->rollback(); // Something went wrong, rollback  
    echo 'Connection failed: ' . $e->getMessage();  
}  

$pdo = null; // Close the database connection  

?>

请注意，上述代码示例仅供参考，并且你需要根据自己的具体需求进行调整。务必在插入大量数据之前，在测试环境中测试你的代码，以确保它按预期工作，并且性能良好。

最后，如果你预计经常需要处理这样大量的数据，你可能需要考虑使用专门的批量数据加载工具或服务，或者考虑使用支持分布式数据处理的数据库解决方案。