一个使用tar实现对目录作增量备份的bash脚本

发表于由
1

一个使用tar实现对目录作增量备份的bash脚本

#!/bin/bash
#program:
#  auto backup the folder $to_backup
#        to $save_to
#  History:
# 2012/11/28  yqf First release

# do NOT change the variable $filename
#  except you REALY know what you are doing exactly
filename=`date +%Y%m%d_%H%M%S`

# sample
# ##whitch folder you want to backup, full path (start with "/")
#to_backup="/var/www/html/foo"
# ##where you whant to save the backup files,folder, MUST end by "/"
#save_to="/var/www/backup/foo/"
# ##the incremental file, file name, full path
#incremental_file="/var/www/backup/incremental_file/foo.incre"
#
#tar -g $incremental_file \
# ## each files or folders that no need to backup, (ingore),
# ##    [Careful] without end slash even folder
#  -C $to_backup \
#  --exclude data/cache \
#  --exclude data/tmp \
#  -cpjf $save_to$filename.tar.bz2 .
# sample end
#
# mysite.com
to_backup="/var/www/html/mysite/html/"
save_to="/home/myhome/backup/mysite/"
incremental_file="/home/myhome/backup/incremenntal_list/mysite.increment_file"

tar -g $incremental_file \
  -C $to_backup \
  --exclude data/static_cache \
  --exclude data/templates_c \
  --exclude data/templates_cache \
  --exclude data/cache \
  -cpjf $save_to$filename.tar.bz2 .

下载脚本附件 tar_incremental_backup_sample
其中....似乎很简单，不用说什么了

grub-install安装grub时出错：/boot/grub/stage1 not read correctly.

发表于由
回复

在U盘上安装grub，之前是fat32的，格式化成exfat再安装grub，U盘设置文件为/dev/sdc4, 挂载于/media/c0f80392-62db-4156-a4f5-c64fc7515795/，但在运行grub-install时却出错了，如下：

[root@fsc feng]# grub-install --root-directory=/media/c0f80392-62db-4156-a4f5-c64fc7515795/ /dev/sdc4
The file /media/c0f80392-62db-4156-a4f5-c64fc7515795//boot/grub/stage1 not read correctly.

印象中以前都是这样安装grub的，检查没发现问题，于是google，说是/etc/fstab 里作过配置，刚才确实改过但没有重启机器，于是重启。再运行grub-install，还是照例出错，消息完全一样。于是继续google，啃英文文章，一时间没有找到方案。又尝试了N多其它方式：再次格式化U盘、直接拷/boot/grub 到U盘再grub-install等，都不行。

准备把U盘上分区重新删掉，重建分区再尝试。突然想到分区格式与分区表中不一致，使用“磁盘实用工具”查看时，该分区/dev/sdc4是w95 fat32(0x0b)，删掉，再建ext2分区，设置为可启动（可以通过磁盘实用工具设置，或fdisk修改都可以），为/dev/sdc1，格式化为ext2，再次运行grub-install，成功

[root@fsc feng]# grub-install --root-directory=/media/287801d6-91aa-4563-a45e-d34073af2ff9 /dev/sdc1
Probing devices to guess BIOS drives. This may take a long time.
Installation finished. No error reported.
This is the contents of the device map /media/287801d6-91aa-4563-a45e-d34073af2ff9/boot/grub/device.map.
Check if this is correct or not. If any of the lines is incorrect,
fix it and re-run the script `grub-install'.

(fd0)    /dev/fd0
(hd0)    /dev/sda
(hd1)    /dev/sdb
(hd2)    /dev/sdc
[root@fsc feng]#

ms sql在对大表做很慢的更新语句时，应单条处理，而不要一个语句更新多条，以避免锁表而阻塞其它应用的读操作

发表于由
1

接到一客户的要求，需要修改其发布过所有文章里的联系方式，于是写sql语句，拿到mssql客户端里直接执行。

起初写的是这种形式的语句
update article set [content]=replace(content,'aaaa','bbbb') where companyid=123
写起来很简单，但是执行时花了3分钟都没有执行完，在执行过程中，网站上对article表访问的页面全部长时间没有响应。于是赶快停掉这个update语句。前面页面马上恢复正常。

分析原因应该是在update时，表被锁定，而阻塞了所有操作。
于是改成
update article set [content]=replace(content,'aaaa','bbbb') where id in(111,222,333,444....)
这种形式，当然首先要查出该客户的所有文章id号，再用逗号拼接构造成sql语句。
这个语句执行一样很慢，可以想象；试了试前台页面又没不响应了。于是赶快停掉。
要重新修改语句。
这次改成
update article set [content]=replace(content,'aaaa','bbbb') where id =111
update article set [content]=replace(content,'aaaa','bbbb') where id =222
update article set [content]=replace(content,'aaaa','bbbb') where id =222
update article set [content]=replace(content,'aaaa','bbbb') where id =222
....
这种多语句的形式，有4K多条，复制到mssql客户端里执行，还是很慢，但前台页面都可以正常打开了，根本感觉不到正在执行的update语句的影响。
经过5分多钟，终于执行完成。

上文中的语句是作了简化的，实际上构造出来的语句是这个形式
update [article] set [content]=replace(replace(replace(replace(convert(nvarchar(max),[content]),'f***','y***'),'1376133***','1358571***'),'353***','605***'),'354***','606***') where id=23002
其中，content字段是ntext型，还得convert()；原来数据库是mssql 2000，后来升级到2005，本来应该把字段改成nvarchar(max)型，但因为表太大一直没有改。

查出id号作逗号拼接，是使用uestudio的替换功能，相当方便

php在中url处理方面很有用的几个函数

发表于由
回复

http_build_query

(PHP 5) http_build_query — 生成 URL-encode 之后的请求字符串

<?php
$data = array('foo'=>'bar',
'baz'=>'boom',
'cow'=>'milk',
'php'=>'hypertext processor');echo http_build_query($data); // foo=bar&baz=boom&cow=milk&php=hypertext+processor
?>

compact

array compact ( mixed $varname [, mixed $... ] )

(PHP 4, PHP 5)  compact — 建立一个数组，包括变量名和它们的值

<?php
$city  = "San Francisco";
$state = "CA";
$event = "SIGGRAPH";
$result = compact("city", "state", "event");
// array('city'=>'"San Francisco"','state'=>'CA','event' => "SIGGRAPH")
?>

-------------

$qs=compact('province','city','name');
foreach($qs as $key => $value){
    if(!$value){
        unset($qs[$key]);
    }
}
$url='something/search/?'.http_build_query($qs) ;

tar 打包备份目录时分卷打包压缩（增量备份，并自动分割成多个文件）

发表于由
回复

tar 增量备份打包目录，并分卷打包压缩（自动分割成多个文件）

tar -g /home/my_name/backup/incremenntal_list/my_website.incremenntal_list \
  -C /var/www/html/ \
  --exclude data/cache \
  --exclude data/tmp \
  -cpjvf - /var/www/html/ |split -b 2g

-g xxx  是增量日志文件，再次执行上面命令备份目录时，没有改变的文件将不备份，这样节省备份占用硬盘；需要还原时，同样要带上该参数，后边跟上该文件路径，而且要按备份的次序一个一个解包

--exclude xxx 是排除的目录，被tar忽略而不备份

split -b 2g 分割为2G的文件，分割文件名字将是 xaa, xab, xac ...

备份文件还原时，使用以下命令：

cat xaa xab xac >tar -xj

注意，1）省略了上述-g 参数，如果备份时用了这里就要带上。

2）假设只有三个分卷文件，如果不止三个，那就依次写出即可。事实上 cat  `ls x*` >tar -xj 也可以，但如果`ls x*`出来的次序是乱的，那就要解包失败。

使用cygwin在windows下自动备份目录数据/注册cygwin为windows服务

发表于由
2

windows下备份目录是个蛋疼的事情，而linux的备份功能实在彪悍的让人感激涕零，然而对于出卖灵魂维护windows服务器的人士，在鄙视windows之余，还是得解决这个问题。突然想到cygwin这个强大的工具，是否可以在windows下使用它crond/crontab呢？查了一下，还真的有。

，先记来来，有时间研究一下

http://blog.csdn.net/cg_cheng/article/details/4377307  在cygwin下配置crontab

http://www.cnblogs.com/alaska1131/articles/1655643.html   windows下启动cygwin的cron/crontab

linux下使用tar差异化备份目录

发表于由
回复

tar命令的参数 -g, 后面跟一个文件路径，就可在该文件里记录下差异化日志记录，每次备份时带上该参数及文件路径，即是差异备份。还原时，也应该带上这个参数，否则，每次差异备份时删除的文件将不会自动删除。

tar命令的参数 --exclude=，后面跟一个文件路径（支持通配符），指备份时忽略指定的文件(包括目录)，如有多个忽略文件，那就加多次该参数，每次指定一个忽略目录。

tar命令的-p参数，指打包时保留文件权限

需要还原文件时，就按备份的次序依次执行-x解包时，记得要带上-g参数，别忘了后面的差异化日志记录文件，这样每次备份时删除的文件也会自动在还原的目标目录里删除；当然你想保留所有文件时另说。

 

Microsoft SQL server数据库转换为MySQL方法

发表于由
回复

有时需要把MS SQL数据库转换成MySQL，但苦于没有好用的工具，个人使用一个手工转换的方法，相对来说还是比较方便的，对于只导一两个表的时候。

思想：
通过mssql构造出MySQL的insert into 语句，保存到一个文本文件里，然后导入MySQL数据库。

方法扼要如下：

  1. 根据ms sql表结构同步创建出mysql表，可以使用mssql客户端工具生成mssql的建表语句，里面一般来说会带上COLLATE Chinese_PRC_CI_AS 及 CONSTRAINT [DF_xxx_xxx] 这样的部分，对mysql是没有用的，使用ue的查找替换功能将其删掉，替换“CONSTRAINT [DF_xxx_xxx] ”要使用正则表达式匹配 CONSTRAINT.*?\]
  2. 将简化后的create table ... 语句改写成适合MySQL的建表语句，主要是字段类型的相应修改(mysql里没有nvarchar等以n打头的类型)、方括号替换成反引号、删掉mssql标识列定义等。
  3. MySQL里执行create table建表。
  4. 回到mssql里，对每个文本型字段执行一次字符串替换，将单引号替换成mysql风格的转义符( \ ')，语句大致如下：
    update you_table_name set [field_name_1]=replace([field_name_1],'''','\''')
    里面mssql的单引号转义是两个单引号，所以看起来相当别扭，顺便逼视一下MS的脑残转义约定。
  5. 将mssql表里的非字符型字段改成字符型，当然不改也行，只是下面一步会很痛苦。
  6. 按下来我们要构造一系列用于把mssql记录插入MySQL表的insert 语句，
  7. 我们要在mssql里拼接字符串的形式构造该查询语句 select top 100 'inset into `you_table_name`(`field_name_1`,`field_name_2`,...)values('''+[field_name_1]+''','''+convert(varchar(10),isnull([field_name_2],0))+''',...);' from you_mssql_table
    从这个语句里可以看出，如果是字符型字段，像field_name_1，直接使用mssql拼接符(+)连起来就可以了，但如果是数字型或日期型字段，像`field_name_2`，就要convert做转换了，日期型还要加上第三个参数，如convert(varchar(10),time,120)这样写。
    我们可以先对前100条构造出适合MySQL的insert语句，随机复制几条到MySQL里测试是否可以正常插入。
  8. 确认无误后，从mssql里导出数据的方式，将上面的查询导出成access数据库文件，再从access中导出文本文件（也可以直接从mssql里导出文本），通常mssql导出的文本文件是ansi编码的，我们可以使用editplus之类工具打开并另存为utf-8编码。不推荐使用ue转换，经验教训表明ue转换编码容易出错。
  9. 进入mysql命令行客户端里，注意加上--default-character-set=utf8参数，否则很可能导入一团乱码
    >mysql -uroot -p --default-character-set=utf8
  10. 进入相应数据库use you_database
  11. 执行source X:\path\to\your\sql\file.sql
    应该很快可以完成，导入时可以注意一下是否有错误提示。通常不会有的。
  12. 至此转换完成。

linux/centos上安装配置gitosis(git服务器端)

发表于由
2

gitosis长期没有更新了，换gitolite吧，或gitlab也行

[个人按本文方法是可以安装gitosis的，但在客户端git clone总是失败，也无法成功创建repo，所以个人改用gitolite，感觉比gitosis简单一些，而且一安装就可以正常工作]

安装gitosis，因为centos/redhat官方源不带gitosis，所以需要先添加EPEL软件仓库，或者手工下载gitosis的 rpm包及依赖包并手工安装。

gitosis rpm包安装后，会自动创建一个gitosis用户，为了简化其见，手工对其改名，改成git，涉及以下四个文件/etc/passwd, /etc/shadow, /etc/group, /etc/gshadow . 默认情况下，git用户(即改名前的gitosis用户)的home目录为 /var/lib/gitosis

这是git用户是作为git的管理账号之用。因为此时git用户没有设置登录密码，我们也不需要其密码，而是使用ssh密钥登录。但对gitosis的设置还是使用git用户登录比较方便。可以切换到root用户，然后 su git .

为git用户设置ssh密钥登录。上传一个ssh公钥，建议使用你的常用账号下的ssh公钥。并将其加入git用户的authorized_keys

sh-4.1$ cd ~/.ssh/
sh-4.1$ cat id_rsa.pub >>authorized_keys

确认可以使用公钥通过ssh登录。关于使用公钥自动登录ssh主机，更多可以参看这里 ssh无密码登入设置(完全版)/linux下免输入密码ssh登录

下面初始化gitosis . 要使用git用户执行下面命令

gitosis-init < [path of your id_rsa.pub]

结果大致如下

sh-4.1$ gitosis-init < id_rsa.pub
Initialized empty Git repository in /var/lib/gitosis/repositories/gitosis-admin.git/
Reinitialized existing Git repository in /var/lib/gitosis/repositories/gitosis-admin.git/
sh-4.1$ ls
gitosis  repositories

可以看到被创建的两个目录，gitosis与repositories .

运行 git clone git@localhost:repositories/gitosis-admin.git 即可把git管理配置文件的目同步到本地。需要修改配置，就在本地修改，然后git commit;git push同步到服务器上即可以即时生效了

关于gitosis资料，参考 http://linux-wiki.cn/wiki/zh-hans/%E9%85%8D%E7%BD%AEgitosis%EF%BC%88%E4%BB%A5CentOS%E4%B8%BA%E4%BE%8B%EF%BC%89

http://git-scm.com/book/zh/服务器上的-Git-Gitosis

http://git-scm.com/book/zh/%E6%9C%8D%E5%8A%A1%E5%99%A8%E4%B8%8A%E7%9A%84-Git-%E5%9C%A8%E6%9C%8D%E5%8A%A1%E5%99%A8%E4%B8%8A%E9%83%A8%E7%BD%B2-Git