首先我们需要了解下查询MySQL数据库/表相关信息的SQL语句:
代码如下 | 复制代码 |
SHOW DATABASES //列出 MySQL Server 数据库。 SHOW TABLES [FROM db_name] //列出数据库数据表。 SHOW CREATE TABLES tbl_name //导出数据表结构。 SHOW TABLE STATUS [FROM db_name] //列出数据表及表状态信息。 SHOW COLUMNS FROM tbl_name [FROM db_name] //列出资料表字段 SHOW FIELDS FROM tbl_name [FROM db_name],DESCRIBE tbl_name [col_name]。 SHOW FULL COLUMNS FROM tbl_name [FROM db_name]//列出字段及详情 SHOW FULL FIELDS FROM tbl_name [FROM db_name] //列出字段完整属性 SHOW INDEX FROM tbl_name [FROM db_name] //列出表索引。 SHOW STATUS //列出 DB Server 状态。 SHOW VARIABLES //列出 MySQL 系统环境变量。 SHOW PROCESSLIST //列出执行命令。 SHOW GRANTS FOR user //列出某用户权限 |
由上述SQL语句可以看到,我们可以使用SHOW FULL COLUMNS来列出字段及详情信息,示例代码:
代码如下 | 复制代码 |
$rescolumns = mysql_query("SHOW FULL COLUMNS FROM ".TB_NAME."") ; while($row = mysql_fetch_array($rescolumns)){ // echo '字段名称:'.$row['Field'].'-数据类型:'.$row['Type'].'-注释:'.$row['Comment']; // echo '<br/> www.111cn.net <br/>'; print_r($row); } |
打印结果:
代码如下 | 复制代码 |
Array ( [0] => id [Field] => id [1] => char(2) [Type] => char(2) [2] => utf8_general_ci [Collation] => utf8_general_ci [3] => NO [Null] => NO [4] => PRI [Key] => PRI [5] => [Default] => [6] => [Extra] => [7] => select,insert,update,references [Privileges] => select,insert,update,references [8] => [Comment] => ) Array ( [0] => title [Field] => title [1] => char(50) [Type] => char(50) [2] => utf8_general_ci [Collation] => utf8_general_ci [3] => YES [Null] => YES [4] => [Key] => [5] => [Default] => [6] => [Extra] => [7] => select,insert,update,references [Privileges] => select,insert,update,references [8] => 建议存储:标题、姓名等信息 [Comment] => 建议存储:标题、姓名等信息 ) Array ( [0] => des [Field] => des [1] => varchar(255) [Type] => varchar(255) [2] => utf8_general_ci [Collation] => utf8_general_ci [3] => YES [Null] => YES [4] => [Key] => [5] => [Default] => [6] => [Extra] => [7] => select,insert,update,references [Privileges] => select,insert,update,references [8] => [Comment] => ) ………… |
补充说明信息:
当然你也可以通过mysql_list_fields — 列出 MySQL 结果中的字段。mysql_list_fields() 取得给定表名的信息,参数是数据库名和表名,返回一个结果指针。
但是,mysql_list_fields() 函数已过时。最好用 mysql_query() 来发出一条 SHOW COLUMNS FROM table [LIKE 'name'] 的 SQL 语句来代替。详细可参考PHP帮助文档:PHP: mysql_list_fields - Manua
用以下技术就能解决。
还有如用户注册,同一时间断内,大量用户注册。可以缓存后一次性写入到数据库。
代码如下:
代码如下 | 复制代码 |
public function cldata(){ $memcache_obj = new Memcache; $memcache_obj->connect('127.0.0.1', '11211'); $all_items = $memcache_obj->getExtendedStats('items'); foreach($all_items as $option=>$vall){ if (isset($all_items[$option]['items'])) { $items = $all_items[$option]['items']; foreach ($items as $number => $item) { $str = $memcache_obj->getExtendedStats('cachedump', $number, 0); $line = $str[$option]; if(is_array($line) && count($line) > 0){ foreach($line as $key => $value) { $keys[] = $key; } } } } } dump(count($keys));//获取到key if(count($keys)>50){//要写入的数据条数 $end=50; }else{ $end=count($keys); } for($i=0;$i<=$end;$i++){ if(!strstr($keys[$i],'datadb')) continue; $ksv = str_replace('datadb','',$keys[$i]); /*$logdata = unserialize(S('login'.$ksv));//登录写入 if(is_array($logdata)){ $this->addsuidinlogin($logdata[0],$logdata[1],$logdata[2],1); } */ /*$sdata = unserialize(S('regadd'.$ksv));//注册写入 if(is_array($sdata)){ $this->baiduad($sdata[0],$sdata[1],$sdata[2],$sdata[3],$sdata[4],1); } */ $regdata = unserialize(S('datadb'.$ksv)); $ress[]=$regdata; S('datadb'.$ksv,null); } $addb = M()->db(66,C('DB_WEB_AD'));//批量写入 addall $addb->table('mj_ad_count')->addall($ress); echo M()->getLastSql(); } |
附:
可以使用的工具如:memadmin 还有memadmin 文档。
对于数百万条数据量的CSV文件,文件大小可能达到数百M,如果简单读取的话很可能出现超时或者卡死的现象。
为了成功将CSV文件里的数据导入数据库,分批处理是非常必要的。
下面这个函数是读取CSV文件中指定的某几行数据:
代码如下 | 复制代码 |
/**
$data = csv_get_lines('path/bigfile.csv', 10, 2000000); print_r($data); |
函数主要采用行定位的思路,通过跳过起始行数来实现文件指针定位。
至于数据如何入库本文不再详细讲述。
上述函数对500M以内的文件进行过测试,运行通畅,对于1GB的文件发现有点慢了,于是再接着找方法。
如何快速完整的操作大文件仍然还存在一些问题。
1、如何快速获取CSV大文件的总行数?
办法一:直接获取文件内容,使用换行符进行拆分得出总行数,这种办法对小文件可行,处理大文件时不可行;
办法二:使用fgets一行一行遍历,得出总行数,这种办法比办法一好一些,但大文件仍有超时的可能;
办法三:借助SplFileObject类,直接将指针定位到文件末尾,通过SplFileObject::key方法获取总行数,这种办法可行,且高效。
具体实现方法:
代码如下 | 复制代码 |
$csv_file = 'path/bigfile.csv'; $spl_object = new SplFileObject($csv_file, 'rb'); $spl_object->seek(filesize($csv_file)); echo $spl_object->key(); |
2、如何快速获取CSV大文件的数据?
仍然使用PHP的SplFileObject类,通过seek方法实现快速定位。
代码如下 | 复制代码 |
$csv_file = 'path/bigfile.csv'; $start = 100000; // 从第100000行开始 www.111cn.net读取 $num = 100; // 读取100行 $data = array(); $spl_object = new SplFileObject($csv_file, 'rb'); $spl_object->seek($start); while ($num-- && !$spl_object->eof()) { $data[] = $spl_object->fgetcsv(); $spl_object->next(); } print_r($data); |
综合上面两点,整理成一个csv文件读取的类:
代码如下 | 复制代码 |
class CsvReader { public function get_data($length = 0, $start = 0) { |
调用方法如下:
代码如下 | 复制代码 |
include('CsvReader.class.php'); $csv_file = 'path/bigfile.csv'; $csvreader = new CsvReader($csv_file); $line_number = $csvreader->get_lines(); $data = $csvreader->get_data(10);
echo $line_number, chr(10); print_r($data);
|
其实,上述CsvReader类并不只针对CSV大文件,对于其他文本类型的大文件或超大文件同样可用,前提是将类中fgetcsv方法稍加改动为current即可。
很多时候,数据库中的数据需要导出成excel,以下是最简便的方法,不用导出excel的类,即使功能简单,但是对于没有复杂需求的项目“见效快”。
先定义头部信息,表示输出一个excel。然后再以table的形式把数据库的信息循环的echo出来,就好了。
代码如下 | 复制代码 |
<?php
header("Content-type:application/vnd.ms-excel"); header("Content-Disposition:filename=xls_region.xls"); $cfg_dbhost = 'localhost'; $cfg_dbname = 'testdb'; $cfg_dbuser = 'root'; $cfg_dbpwd = 'root'; $cfg_db_language = 'utf8'; // END 配置
$link = mysql_connect($cfg_dbhost,$cfg_dbuser,$cfg_dbpwd); mysql_select_db($cfg_dbname); //选择编码 www.111Cn.net mysql_query("set names ".$cfg_db_language);
//users表 $sql = "desc users";
$res = mysql_query($sql); echo "<table><tr>"; //导出表头(也就是表中拥有的字段) while($row = mysql_fetch_array($res)){ $t_field[] = $row['Field']; //Field中的F要大写,否则没有结果 echo "<th>".$row['Field']."</th>"; } echo "</tr>"; //导出100条数据 $sql = "select * from users limit 100"; $res = mysql_query($sql); while($row = mysql_fetch_array($res)){ echo "<tr>"; foreach($t_field as $f_key){ echo "<td>".$row[$f_key]."</td>"; } echo "</tr>"; } echo "</table>";
?> |
利用php备份mysql数据库就是把数据生成.sql文件,这样就算是数据备份成功了,恢复时也可以直接读取再一条条执行即可,下面整理了一些备份例子大家有兴趣的可进来参考。
例子。
代码如下 | 复制代码 |
<?php // 备份数据库 $host = "localhost"; $user = "root"; //数据库账号 $password = ""; //数据库密码 $dbname = "mysql"; //数据库名称 // 这里的账号、密码、名称都是从页面传过来的 if (!mysql_connect($host, $user, $password)) // 连接mysql数据库 { echo '数据库连接失败,请核对后再试'; exit; } if (!mysql_select_db($dbname)) // 是否存在该数据库 { echo '不存在数据库:' . $dbname . ',请核对后再试'; exit; } mysql_query("set names 'utf8'"); $mysql = "set charset utf8;\r\n"; $q1 = mysql_query("show tables"); while ($t = mysql_fetch_array($q1)) { $table = $t[0]; $q2 = mysql_query("show create table `$table`"); $sql = mysql_fetch_array($q2); $mysql .= $sql['Create Table'] . ";\r\n"; $q3 = mysql_query("select * from `$table`"); while ($data = mysql_fetch_assoc($q3)) { $keys = array_keys($data); $keys = array_map('addslashes', $keys); $keys = join('`,`', $keys); $keys = "`" . $keys . "`"; $vals = array_values($data); $vals = array_map('addslashes', $vals); $vals = join("','", $vals); $vals = "'" . $vals . "'"; $mysql .= "insert into `$table`($keys) values($vals);\r\n"; } } $filename = $dbname . date('Ymjgi') . ".sql"; //存放路径,默认存放到项目最外层 $fp = fopen($filename, 'w'); fputs($fp, $mysql); fclose($fp); echo "数据备份成功"; ?> |
例子
代码如下 | 复制代码 |
#!/usr/bin/php www.111cn.net define('BACK_PATH', dirname(__FILE__)); /** $mysql_host = 'localhost'; $mysql_user = 'root'; $mysql_passwd = 'root'; if($conn = mysql_connect($mysql_host, $mysql_user, $mysql_passwd)){ |
例子
代码如下 | 复制代码 |
<?php $host="##mysql服务器地址##"; $user="##登录帐号##"; $password="##登录密码##"; $dbname="##数据库名##"; $filename="##备份文件路径##"; mysql_connect($host,$user,$password); mysql_select_db($dbname); $mysql.="CREATE DATABASE IF NOT EXISTS `".$dbname."`;\r\n"; $mysql.="USE `".$dbname."`;\r\n\r\n"; $q0=mysql_query("set names utf8"); $q1=mysql_query("show tables"); while($t=mysql_fetch_array($q1)){ $table=$t[0]; $mysql.="DROP TABLE IF EXISTS `".$table."`;\r\n"; $q2=mysql_query("show create table `$table`"); $sql=mysql_fetch_array($q2); $mysql.=$sql['Create Table'].";\r\n\r\n"; $q3=mysql_query("select * from `$table`"); while($data=mysql_fetch_assoc($q3)){ $keys=array_keys($data); $keys=array_map('addslashes',$keys); $keys=join('`,`',$keys); $keys="`".$keys."`"; $vals=array_values($data); $vals=array_map('addslashes',$vals); $vals=join("','",$vals); $vals="'".$vals."'"; $mysql.="insert into `$table`($keys) values($vals);\r\n"; } $mysql.="\r\n"; } $fp = fopen($filename,'wb'); fputs($fp,$mysql); fclose($fp); include_once('lib/pclzip.lib.php'); $archive = new PclZip($filename.'.zip'); $v_list = $archive->create($filename); if ($v_list == 0) { die("Error : ".$archive->errorInfo(true)); } if(file_exists($filename)){ unlink($filename); } echo "Mysql's backup successfully to ".$filename.".zip"; ?> |
Zip打包备份代码,几乎就是全抄demo,太方便了:
代码如下 | 复制代码 |
<?PHP |
pclzip.lib.php这个压缩包文件大家百度去下载这里未提供。