PHP 中使用 CURL 下载远程超大文件的方法
在使用PHP进行开发时，我们经常需要从远程服务器下载文件。当文件体积较大时，普通的文件操作和 cURL 方法可能会因为内存限制或执行时间限制而失败。本文将介绍如何使用 PHP 中的 cURL 扩展来高效地下载远程的超大文件。
解决方案
为了避免内存限制，我们可以一边读取 cURL 响应，一边将数据写入文件流，而不是一次性将整个文件内容载入内存。
技术要点
cURL初始化：初始化cURL会话，并设置相关选项。
流式下载：通过CURLOPT_WRITEFUNCTION和CURLOPT_READFUNCTION选项自定义读写函数，实现流式下载。
进度处理：可以使用CURLOPT_NOPROGRESS和CURLOPT_PROGRESSFUNCTION来监控下载进度。
错误处理：正确处理cURL执行中的错误。
涉及的难点讲解
1. 流式下载
流式下载的关键在于如何一边从远程服务器接收数据，一边将数据写入本地文件系统。
2. PHP配置
对于大文件下载，可能需要调整PHP配置中的memory_limit和max_execution_time以避免脚本执行超时。
代码示例
<?php
// 初始化cURL会话
$ch = curl_init('http://example.com/large-file.zip');
// 设置cURL选项
curl_setopt($ch, CURLOPT_RETURNTRANSFER, false); // 不返回响应内容
curl_setopt($ch, CURLOPT_NOPROGRESS, false); // 启用进度条
curl_setopt($ch, CURLOPT_PROGRESSFUNCTION, 'progressCallback'); // 设置进度回调函数
// 自定义写文件函数
curl_setopt($ch, CURLOPT_WRITEFUNCTION, function($ch, $data) {
// 将数据写入文件
$fp = fopen('large-file.zip', 'a'); // 'a'模式以追加方式打开文件
fwrite($fp, $data);
fclose($fp);
return strlen($data); // 返回写入的字节数
});
// 执行cURL会话
curl_exec($ch);
// 关闭cURL会话
curl_close($ch);
// 进度回调函数
function progressCallback($ch, $download_size, $downloaded, $upload_size, $uploaded) {
static $previous = 0;
if (time() - $previous > 1) { // 每秒更新一次进度
$previous = time();
$percent = (int) ($downloaded / $download_size * 100);
echo "Downloaded $percent%...\n";
}
}
?>
注意事项
确保PHP配置允许足够的执行时间和内存使用。
在生产环境中，应避免将错误信息输出到浏览器，以免泄露敏感信息。
对于安全性要求较高的应用，应验证SSL证书。
通过上述方法，我们可以有效地使用PHP和cURL下载远程的超大文件，同时保持内存使用在合理范围内，并能够监控下载进度。
稍简单的实现
function downloadFile($url, $path)
{
$fp = fopen($path, 'w');
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_FILE, $fp);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
curl_exec($ch);
curl_close($ch);
fclose($fp);
}
本文转自：https://www.lvtao.net/dev/how-to-download-large-remote-files-using-curl-in-php.html...