临时写的一个东西省时间而写的，因为有几千个产品带大图，所以我们写了这么一个程序了，希望对各位有帮助。
目录效果如
导入方法
http://www.111cn.net/ a.php?typeid=你的id&path=你的目录
处理php文件
| 代码如下 | 复制代码 |
|
$typeid = $_GET['typeid']; $path = $_GET['path']; if( $path =="" )
$sql2 ="INSERT INTO `dedecms_addonarticle17` (`aid`, `typeid`, `body`, `redirecturl`, `templet`, `userip`, `s_type`) VALUES mysql_query( $sql3 ) or die( mysql_error().$sql3 ); echo '导入成功'; print_r($array); |
|
之后碰到一个小问题，就是导入数据在栏目可以看到，但在所有数据中看不到记录，生成时只有选择栏目生成才可以但用一键生成有问题，这个时我在发布时间是固定一个以前的时间了，大家可以使用time函数来获取当前时间了。
本站原创文章，转让注明来自http://www.111cn.net/phper/php.html
百度、QQ、360等大公司都拥有上亿的用户量。不仅所有子网站都通过一个账号登录，而且还开放用户平台，提供给其他网站使用。这种级别的数据量和访问量 如果不做优化，估计很快就会宕机。这些公司都是一个专门的团队，维护一个注册登录，细节设计的非常优秀。现在粗略谈下他们的设计方案
大数据的时候，压力不在PHP，主要在MySQL。
PHP可以做负载均衡，10台机器抗不住就用20台或者100台，这都不是瓶颈。
但是MySQL是单点的，无论做多少从库，都是优化查询，更新数据就无法只是简单的通过加机器解决了。
而且查询也可以通过Memcache缓存减轻压力，所以不必要做多少从库的，一般1主4从就可以了。
下面主要介绍下数据库的解决方案：
假设用户可以通过“登录名”、“邮箱”或“手机号”登录。
表结构如下：
登录名与ID表，根据login_hash分100张表
CREATE TABLE user_login(
login_name VARCHAR() 用户登录名，可以是“登录名”、“邮箱”或“手机号”登录
login_hash BIGINT 用户登录名的HASH码
user_id BIGINT 用户ID
);
CREATE TABLE user_login0 LIKE user_login;
CREATE TABLE user_login1 LIKE user_login;
… …
CREATE TABLE user_login100 LIKE user_login;
ID与用户信息表，根据user_id分100张表
CREATE TABLE user_info(
user_id BIGINT 用户ID
login_pwd CHAR() 用户登录密码
… … 其他信息，家庭住址、手机号、性别等等
);
CREATE TABLE user_info0 LIKE user_info;
CREATE TABLE user_info1 LIKE user_info;
… …
CREATE TABLE user_info2 LIKE user_info;
业务实现逻辑：
依赖服务器：实现一个自增ID的服务(相当于oracle的sequence)，也可以自己实现(用PHP+MySQL或者用C实现都可以)。目的是可以 从这个服务中取ID，每次取的ID数都是在上次基础上+1，和MySQL的autoincrement很像，只是不能在表内部自增。
注册流程
1）验证用户名、邮箱、手机号、密码等格式。省略…
2）从服务中取一个ID，假设是115。
3）如果用户的登录类型是邮箱（如：$loginName=’songhuan@zixue.it’），则在登录名前加上前缀登录名结果（如：$loginName=’mail_songhuan@zixue.it’）
4）求登录名的HASH值：$loginHash=md5($loginName); 对md5值hash，可以求asc码，或者用自己的算法，最后得出$loginHash=16位或32位的整数
5）$tableName = ‘user_login’ . ($loginHash%100)，如果获取user_login表名，假如结果为user_login88。
$tableName = ‘user_info’ . (115%100)，如果获取user_info表名。
6）执行SQL：
INSERT INTO user_login88 (login_name, login_hash, user_id) VALUES (‘songhuan@zixue.it’, 183239324323, 1);
INSERT INTO user_info15 (user_id, login_pwd) VALUES (115, ‘afieflefiefladifadfadfe’);
登录流程 www.111cn.net
1）如果用户的登录类型是邮箱（如：$loginName=’songhuan@zixue.it’），则在登录名前加上前缀登录名结果（如：$loginName=’mail_songhuan@zixue.it’）
2）$loginHash=ord(md5($loginName));
3）$tableName = ‘user_login’ . ($loginHash%100); 假如结果为user_login88
4）执行SQL：SELECT id FROM user_login88 WHERE login_hash = $loginHash;
如果查询不到数据，则登录名不存在
5）如果能获取到，id=115，则$tableName = ‘user_info’ . (115%100);
SELECT id, pwd … FROM user_info15 WHERE id = 115;
6）匹配密码，如果密码不相等，返回false
7）如果密码相等，将用户ID加密放入COOKIE，将用户信息存入Memcache
错误
有可能您发现了 SQL 分析器的臭虫。请仔细检查您的查询，包括引号是否正确及是否匹配。其它可能的失败原因可能由于您上传了超过引用文本区域外的二进制数据。您还可以在 MySQL 命令行界面试一下您的查询。如果可能的话，以下会列出 MySQL 服务器的错误输出，这可能对您解决问题有一定的帮助作用。如果您仍然有问题，或者命令行界面执行成功而分析器出错，请将您的 SQL 查询缩减到导致问题的某一条语句，然后和下面剪切区中的数据一起提交一个臭虫报告：
----开始剪切----
………………（各种字符）
----结束剪切----
----开始原文---
………………（各种乱码）
在然后，就各种baidu、google、sougou。。。没找到解决办法。
记得过去搭建DZ站时也遇到这种问题。当时，就是无意的在导入时随便点了编码选择某项就导入进去。。可这次行不通，纠结。。再次百度看看有没有类似的修复软件。没找到= =#。 用Notepad++打开sql看看，没乱码，比较可以导入的sql文件。高版本的都可以导入，低版本应该不是问题，格式也没错。按照以往对这些上传文件思路。
在本地mysql里尝试导入.
先改下名字，上传看看。。发现没报上面的错误了！！！不过还是有 一行错误提示（英语也懒的去翻译了）。
然后重压缩在导入。。！！！OK，本地的mysql可以导入了。
去导入空间里的mysql.
压缩了的SQL还是报上面的哪个上面 臭虫 错误。我去。。。解压后上传，只导入了多说的表，外加 一行错误提示。太坑了，不懂。
索性本地上已经导入完整，再次从本地的mysql里导出，在上传。。解决。
总结：
看数据库内容是否完整且是否乱码（如果是，基本上就没救了= =）。
本地搭建phpmyadmin尝试导入（我用的是phpStudy绿色版的）
在然后各种主流、非主流思路。（编码转换、版本比较、格式比较……）
（我是改文件名后压缩本地mysql，在然后导出本地，在导入到空间，貌似有运气成分，呵呵。）
百度上说，可以用mysql自带的修复工具，尝试修复下。我数据库格式和内容都完整，且也懒得去装，就没有尝试了！
Ps：在也不用phpmyadmin来备份了。。= =
注意以下事项：
必要知识:
mysql编码:
在mysql的安装目录,如:
E:\Program Files\MySQL\MySQL Server 5.0\my.ini
可以找到mysql库的编码,大部分情况下,可以设置为uft-8:
default-character-set=utf8
或gbk:
default-character-set=gbk
编码不对,就会造成无法导入.修改编码后要重启数据库才会生效.
1.条件:在同一台服务器,
mysql数据库可以用平台的导出导入功能正常备份及还原.
2.条件:不同服务器上,在my.ini编码一致的情况下,
mysql数据库可以用平台的导出导入功能正常备份及还原.
2.条件:不同服务器上,在my.ini编码不一致的情况下,
必须修改my.ini成为一致的编码,mysql数据库才可以用平台的导出导入功能正常备份及还原.
3.对于用phpmyadmin或其他工具导入的文件,您需要再次加工后,才能用平台的导入功能:
以phpmyadmin为例,导出后,将生成的SQL语句另存为一个.sql文件,然后,用记事本修改它:
(1)找到CREATE DATABASE开头的这一行如:
CREATE DATABASE `数据库名` DEFAULT CHARACTER SET latin1 COLLATE latin1_swedish_ci;
在前面加上--符号,取消这行的运行权(原因是导入时是用普通用户角度导入,不允许建立数据库)
这样,才有可能用平台的导入功能导入.
(2)然后,您可以看看这个库的编码是否和您服务器上的一致
如果编码不一致,那么,
<1>要么用phpmymyadmin重新备份成编码一致的.sql文件才能导入.(在phpmyadmin登陆的首页可以选编码)
<2>要么是修改my.ini中的编码,并重启Mysql才能导入(重启Mysql可以在服务器上,管理工具,服务管理中重启),这种方式成功机会高一些,建议这样操作.
一、数据库的导出
一般而言，数据库的导出是为了备份或者为了数据库的移置。那么导出时我们一般选择SQL或者Excel，而不选择Word,PDF等。导出时选择要导出的表或者所有表。选项选择时要注意，要选择没有必要的选项，如果选择了其他选项会给数据库入库带来麻烦或错误。那么到底选择什么呢？
在结构选项（structure)选项中，我们一般使用Add if not exists,Add auto_increment value,Enclose table and field names with backquotes(使用中文相应地翻译成汉字就成），也就是在选项的前面框内打勾（你不会告诉我这个你不会吧），在数据(data)选项中选择 Complete inserts,Extended inserts,Use hexadecimal for BLOB,Export type 为Insert,当然如果你是为了更新或替换可选择UPDATE或replace。当Save as file前打勾时，会自动存为文件（推荐），然后按Go,这样数据库就存为zip,gzip或bzip格式了。
二、数据库的导入
尤其要注意的是，我在数据库的导入时先建好了与导出数据库同名的一个空数据库（没 有表的）才能导入，否则经常报错。建好了数据库后点击相应数据库进入（当然要在phpMyAdmin环境下了），这时我们再点击Import按纽，忘记说 了，如果你选择的是压缩的导出结果，最好先解压成一个文件形式，虽然phpMyAdmin说可以识别压缩文件(Imported file compression will be automatically detected from: 无, gzip, zip),其实还是识别不了的:<)，不然，phpMyAdmin会告诉你发现了臭虫（真有臭虫倒好）,字符集选择与导出时一样，默认utf8,然 后点击Go或执行就OK了，这样数据库就移到了另一个地方，同时也方便你移站了。
用以下技术就能解决。
还有如用户注册，同一时间断内，大量用户注册。可以缓存后一次性写入到数据库。
代码如下：
| 代码如下 | 复制代码 |
| public function cldata(){ $memcache_obj = new Memcache; $memcache_obj->connect('127.0.0.1', '11211'); $all_items = $memcache_obj->getExtendedStats('items'); foreach($all_items as $option=>$vall){ if (isset($all_items[$option]['items'])) { $items = $all_items[$option]['items']; foreach ($items as $number => $item) { $str = $memcache_obj->getExtendedStats('cachedump', $number, 0); $line = $str[$option]; if(is_array($line) && count($line) > 0){ foreach($line as $key => $value) { $keys[] = $key; } } } } } dump(count($keys));//获取到key if(count($keys)>50){//要写入的数据条数 $end=50; }else{ $end=count($keys); } for($i=0;$i<=$end;$i++){ if(!strstr($keys[$i],'datadb')) continue; $ksv = str_replace('datadb','',$keys[$i]); /*$logdata = unserialize(S('login'.$ksv));//登录写入 if(is_array($logdata)){ $this->addsuidinlogin($logdata[0],$logdata[1],$logdata[2],1); } */ /*$sdata = unserialize(S('regadd'.$ksv));//注册写入 if(is_array($sdata)){ $this->baiduad($sdata[0],$sdata[1],$sdata[2],$sdata[3],$sdata[4],1); } */ $regdata = unserialize(S('datadb'.$ksv)); $ress[]=$regdata; S('datadb'.$ksv,null); } $addb = M()->db(66,C('DB_WEB_AD'));//批量写入 addall $addb->table('mj_ad_count')->addall($ress); echo M()->getLastSql(); } |
|
附：
可以使用的工具如：memadmin 还有memadmin 文档。
首先我们需要了解下查询MySQL数据库/表相关信息的SQL语句：
| 代码如下 | 复制代码 |
SHOW DATABASES //列出 MySQL Server 数据库。 SHOW TABLES [FROM db_name] //列出数据库数据表。 SHOW CREATE TABLES tbl_name //导出数据表结构。 SHOW TABLE STATUS [FROM db_name] //列出数据表及表状态信息。 SHOW COLUMNS FROM tbl_name [FROM db_name] //列出资料表字段 SHOW FIELDS FROM tbl_name [FROM db_name]，DESCRIBE tbl_name [col_name]。 SHOW FULL COLUMNS FROM tbl_name [FROM db_name]//列出字段及详情 SHOW FULL FIELDS FROM tbl_name [FROM db_name] //列出字段完整属性 SHOW INDEX FROM tbl_name [FROM db_name] //列出表索引。 SHOW STATUS //列出 DB Server 状态。 SHOW VARIABLES //列出 MySQL 系统环境变量。 SHOW PROCESSLIST //列出执行命令。 SHOW GRANTS FOR user //列出某用户权限 |
|
由上述SQL语句可以看到，我们可以使用SHOW FULL COLUMNS来列出字段及详情信息，示例代码：
| 代码如下 | 复制代码 |
| $rescolumns = mysql_query("SHOW FULL COLUMNS FROM ".TB_NAME."") ; while($row = mysql_fetch_array($rescolumns)){ // echo '字段名称：'.$row['Field'].'-数据类型：'.$row['Type'].'-注释：'.$row['Comment']; // echo '<br/> www.111cn.net <br/>'; print_r($row); } |
|
打印结果：
| 代码如下 | 复制代码 |
|
Array ( [0] => id [Field] => id [1] => char(2) [Type] => char(2) [2] => utf8_general_ci [Collation] => utf8_general_ci [3] => NO [Null] => NO [4] => PRI [Key] => PRI [5] => [Default] => [6] => [Extra] => [7] => select,insert,update,references [Privileges] => select,insert,update,references [8] => [Comment] => ) Array ( [0] => title [Field] => title [1] => char(50) [Type] => char(50) [2] => utf8_general_ci [Collation] => utf8_general_ci [3] => YES [Null] => YES [4] => [Key] => [5] => [Default] => [6] => [Extra] => [7] => select,insert,update,references [Privileges] => select,insert,update,references [8] => 建议存储：标题、姓名等信息 [Comment] => 建议存储：标题、姓名等信息 ) Array ( [0] => des [Field] => des [1] => varchar(255) [Type] => varchar(255) [2] => utf8_general_ci [Collation] => utf8_general_ci [3] => YES [Null] => YES [4] => [Key] => [5] => [Default] => [6] => [Extra] => [7] => select,insert,update,references [Privileges] => select,insert,update,references [8] => [Comment] => ) ………… |
|
补充说明信息：
当然你也可以通过mysql_list_fields — 列出 MySQL 结果中的字段。mysql_list_fields() 取得给定表名的信息，参数是数据库名和表名，返回一个结果指针。
但是，mysql_list_fields() 函数已过时。最好用 mysql_query() 来发出一条 SHOW COLUMNS FROM table [LIKE 'name'] 的 SQL 语句来代替。详细可参考PHP帮助文档：PHP: mysql_list_fields - Manua