2021年5月28日19:29:20
xlswriter 中文官方网站 https://xlswriter-docs.viest.me/zh-cn
windows10 环境laravel8 mysql8
第一次执行会慢一点,第二次就更快一点,服务器上开了opcache估计会更快一点
public function test(Request $request) { $start_time = date('Y-m-d H:i:s'); ini_set('memory_limit', '1024m'); $config = [ 'path' => public_path() . '/upload' // xlsx文件保存路径 ]; $excel = new Excel($config); $textFile = $excel->fileName("free.xlsx")->header(['id', 'name', 'phone', 'source', 'province_name', 'city_name', 'data_time', 'user_id', 'user_nickname', 'register_time', 'up_user_id', 'store_name', 'is_pull_new']); //大约11万数据 foreach (BrokerMemberData::get() as $k => $v) { $textFile->insertText($k+1, 0, $v->id); $textFile->insertText($k+1, 1, $v->name); $textFile->insertText($k+1, 2, $v->phone); $textFile->insertText($k+1, 3, $v->source); $textFile->insertText($k+1, 4, $v->province_name); $textFile->insertText($k+1, 5, $v->city_name); $textFile->insertText($k+1, 6, $v->data_time); $textFile->insertText($k+1, 7, $v->user_id); $textFile->insertText($k+1, 8, $v->user_nickname); $textFile->insertText($k+1, 9, $v->register_time); $textFile->insertText($k+1, 10, $v->up_user_id); $textFile->insertText($k+1, 11, $v->store_name); $textFile->insertText($k+1, 12, $v->is_pull_new); } $filePath = $textFile->output(); p(BrokerMemberData::count()); p('执行成功 开始时间' . $start_time . '结束时间' . date('Y-m-d H:i:s')); p($filePath); }
执行结果
115135
执行成功 开始时间2021-05-29 10:45:04结束时间2021-05-29 10:45:10
D:\phpstudy_pro\WWW\mc\public/upload/free.xlsx
orm里面使用
BrokerMemberData::where('id', '>', 0)->chunkById(10000, function ($list) use ($textFile) { foreach ($list as $k => $v) { $textFile->insertText($v->id + 1, 0, $v->id); $textFile->insertText($v->id + 1, 1, $v->name); $textFile->insertText($v->id + 1, 2, $v->phone); $textFile->insertText($v->id + 1, 3, $v->source); $textFile->insertText($v->id + 1, 4, $v->province_name); $textFile->insertText($v->id + 1, 5, $v->city_name); $textFile->insertText($v->id + 1, 6, $v->data_time); $textFile->insertText($v->id + 1, 7, $v->user_id); $textFile->insertText($v->id + 1, 8, $v->user_nickname); $textFile->insertText($v->id + 1, 9, $v->register_time); $textFile->insertText($v->id + 1, 10, $v->up_user_id); $textFile->insertText($v->id + 1, 11, $v->store_name); $textFile->insertText($v->id + 1, 12, $v->is_pull_new);// pp($textFile);// p($t++); } });
每次跑20000 D:\phpstudy_pro\WWW\mc>php artisan Zx初始: 17.759658813477MB115135执行成功 开始时间2021-05-29 19:09:18结束时间2021-05-29 19:09:34D:\phpstudy_pro\WWW\mc\public/upload/free.xlsx释放: 19.283096313477MB峰值: 53.145240783691MB 15000D:\phpstudy_pro\WWW\mc>php artisan Zx初始: 17.759658813477MB115135执行成功 开始时间2021-05-29 19:09:53结束时间2021-05-29 19:10:08D:\phpstudy_pro\WWW\mc\public/upload/free.xlsx释放: 19.287315368652MB峰值: 37.001892089844MB 8000D:\phpstudy_pro\WWW\mc>php artisan Zx初始: 17.759658813477MB115135执行成功 开始时间2021-05-29 19:10:26结束时间2021-05-29 19:10:46D:\phpstudy_pro\WWW\mc\public/upload/free.xlsx释放: 19.13597869873MB峰值: 20.823844909668MB 10000D:\phpstudy_pro\WWW\mc>php artisan Zx初始: 17.759658813477MB115135执行成功 开始时间2021-05-29 19:10:56结束时间2021-05-29 19:11:11D:\phpstudy_pro\WWW\mc\public/upload/free.xlsx释放: 19.285507202148MB峰值: 42.986419677734MB
其他方案:
1,csv , 不段的刷新缓冲期,来实现大数据流的导出
$fp = fopen('php://output', 'a');// 输出Excel列名信息$head = array("电子邮件");foreach ($head as $i => $v) { // CSV的Excel支持GBK编码,一定要转换,否则乱码 $head[$i] = iconv('utf-8', 'gbk', $v);}// 将数据通过fputcsv写到文件句柄fputcsv($fp, $head);// 计数器$cnt = 0;// 每隔$limit行,刷新一下输出buffer,不要太大,也不要太小$limit = 100000;// 逐行取出数据,不浪费内存$count = count($email);for($t=0;$t<$count;$t++) { $cnt ++; if ($limit == $cnt) { //刷新一下输出buffer,防止由于数据过多造成问题 ob_flush(); flush(); $cnt = 0; } $row[] = $email[$t]; foreach ($row as $i => $v) { $row[$i] = iconv('utf-8', 'gbk', $v); } fputcsv($fp, $row); unset($row);}
这种方案对待简单的excel是可行的,但是需要制作复杂的excel就无能为力
2,导出操作,不经过php,而是直接交给sql做,使用sql自带的导出功能即可。
SELECT *FROM table_name INTO OUTFILE 'D:/test.csv' FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\r\n';SELECT * FROM data_international into outfile 'd:/zx.xls';受影响的行: 436593时间: 0.523sTRUNCATE TABLE data_international;LOAD DATA INFILE 'd:/zx.xls' INTO TABLE data_international;受影响的行: 436593时间: 2.453s 复杂一些的sql参考https://www.cnblogs.com/zx-admin/p/5174796.html
3,异步任务
吧excel导出的任务,写入到一个队列,这个可以是redis的队列,也可以是mq的生产队列,
然后写一个消费队列是消费,在cli模式下执行不担心请求超时,然后执行完成,写消息返回给用,可以使用socket通知用户,也可以写一条mysql记录,告诉用户下载地址
很多需要大数量导出的系统都是采用这个方案
但是这个方案有个缺点就是海量数据导出很容易,内存溢出
4,数据流,边刷出文件流,边提供下下载,还是容易超时
5,分文件拆分处理生成 file1.xls,file2.xls,file3.xls,然后合并,减少内存和处问题,但是这个依然会出现硬盘和内存飙升
6,