ImageCanvas Annex

　NASのバックアップ対象ディレクトリをinotifyで監視して更新されたディレクトリのみをrsyncでミラーリング

2020. 4. 21 (火) | コメントを受け付けていません

前回書いたミラーリングと世代管理バックアップの2系統のスクリプトのうち、ミラーリングのほうのスクリプトについてパフォーマンスアップの修正を行ないました。

前回のスクリプトでは大まかな流れとしてduコマンドの結果を元に更新対象ディレクトリを絞り込んでrsyncに渡すという動作を行なっていましたが、監視対象内のサブディレクトリ数が多くなるとduコマンドの実行時間もそれなりにかかるようになるので、この部分をinotifywaitコマンドでの監視に置き換えています。

inotifywaitを使えるよう準備

inotify-toolsがインストールされていない場合inotifywaitコマンドも使えませんので、その場合はまずinotify-toolsをインストールします。

inotify-toolsをインストール(Debian系の場合)

$ sudo apt install inotify-tools

inotifywaitで監視可能な対象数はデフォルトで8192になっているかと思いますが、NAS全体を監視対象にしようとするとサブディレクトリ数も多くなり8192では不足する場合もままありますので、環境に合わせてこの設定を増やしておきます。

設定値の確認

$ cat /proc/sys/fs/inotify/max_user_watches

この設定は再起動すると初期値に戻ってしまいますので、起動時に自動で設定されるようにしておきます。
いくつか方法はありますが、私はrc.localに追記しました。

$ sudo nano /etc/rc.local

以下を追記

sysctl fs.inotify.max_user_watches=262144

以降は前回と同じ方法でmirroring.phpの実行設定をすれば完了です。

スクリプト

<?php
/**
 *  rsync ミラーリング
 *  inotifiwait監視版
 */

// ミラーリング元ディレクトリ
define('SOURCE_DIR', '/home/nas/data/');

// ミラーリング先ディレクトリ
define('BACKUP_DIR', '/home/nas_backup/data/');

// その他のrsyncオプション 例: '--exclude=/temp/ --exclude=/*.bak';
define('OTHER_OPTIONS', '');

/**
 *
 */

set_time_limit(0);
date_default_timezone_set('Asia/Tokyo');

// 一時ファイル保存用ディレクトリ
define('TEMP_DIR', (file_exists('/dev/shm/') ? '/dev/shm/.' : '/var/tmp/.'). md5(__DIR__));
if(!file_exists(TEMP_DIR)) {
    mkdir(TEMP_DIR);
    chmod(TEMP_DIR, 0700);
}

// 各ディレクトリ名のデリミタ補正
$sourceDir = preg_replace('|/+$|', '/', SOURCE_DIR. '/');
$backupDir = preg_replace('|/+$|', '/', BACKUP_DIR. '/');

// バックアップ元・バックアップ先が無かったら終了
if(!file_exists($sourceDir) || strpos($backupDir, ':') === false && !file_exists($backupDir)) {
    print "The source '{$sourceDir}' or backup '{$backupDir}' destination directory does not exist.\n";
    exit;
}

// inotifywaitログファイルパス
$inotifyLog = TEMP_DIR. '/inotify.log';

// inotifywaitプロセス管理
$res = inotifywaitProcessManage($sourceDir, $inotifyLog);

// inotifywaitログが空か最終更新からの経過時間が2秒未満なら終了
if(file_exists($inotifyLog) && (filesize($inotifyLog) == 0 || time() - filemtime($inotifyLog) < 2) && !$res) {
    exit;
}

// ロックファイル名
$lockFilename = TEMP_DIR. '/backup.lock';

// ロックファイルが存在していたら同名のプロセス実行中とみなし終了
if(file_exists($lockFilename)) {
    print "A process with the same name is running.\n";
    exit;
} else {
    // ロックファイル作成
    if(!@file_put_contents($lockFilename, 'Process is running.')) {
        print "Could not create `$lockFilename`.\nSet the permissions of the directory `". TEMP_DIR. "` to 0700.\n";
        exit;
    }
    chmod($lockFilename, 0600);
}

// 更新対象ディレクトリ取得
$updateDirList = getUpdataDirList($inotifyLog);
if(!$updateDirList) {
    $updateDirList[] = $sourceDir;
}

// 更新対象ディレクトリに対してrsync実行
foreach($updateDirList as $dir) {
    if(!file_exists($dir)) continue;
    $path = str_replace($sourceDir, '', $dir);
    // rsyncコマンド
    $command = implode(" ", [
            'rsync -avH',
            '--delete',
            OTHER_OPTIONS,
            '"'. preg_replace('|/+$|', '/', ($sourceDir. $path. '/')). '"',
            '"'. preg_replace('|/+$|', '/', ($backupDir. $path. '/')). '"',
        ]);
    print "$command\n";
    exec($command);
}

// ロックファイル削除
unlink($lockFilename);

exit;

/**
 *
 */

// inotifywaitログから更新対象ディレクトリ取得
function getUpdataDirList($inotifyLog) {
    $retArr = [];
    if(file_exists($inotifyLog)) {
        $fp = fopen($inotifyLog, 'r+');
        $tmpArr = [];
        while(($l = fgets($fp)) !== false) {
            $l = trim($l);
            if(!$l) continue;
            $l = preg_replace('|/[^/]+$|', '/', $l);
            $tmpArr[$l] = true;
        }
        if($tmpArr) ftruncate($fp, 0);
        fclose($fp);

        $retArr = $tmpArr;
        foreach($tmpArr as $k => $v) {
            foreach($tmpArr as $k_ => $v_) {
                if($k == $k_) continue;
                if(isset($retArr[$k]) && strpos($k_, $k) === 0) unset($retArr[$k_]);
            }
        }
    }
    return array_keys($retArr);
}

// inotifywaitプロセス管理
function inotifywaitProcessManage($sourceDir, $inotifyLog) {
    $command = "inotifywait -mr -o {$inotifyLog} -e create,delete,modify,moved_to,moved_from --format %w {$sourceDir}";

    // 既存inotifywaitプロセス存在チェック
    exec('ps x', $res);
    $pf = 0;
    foreach($res as $tmp) {
        if(strpos($tmp, $command) !== false) $pf++;
    }

    // ログが無いかログ最終更新から1時間以上経過していたら
    // 既存inotifywaitプロセスをkillした上で再度inotifywaitをバックグラウンド実行
    if(!file_exists($inotifyLog) || time() - filemtime($inotifyLog) >= 3600 * 1 || !$pf) {
        // inotifywaitコマンドが見つからなかったら終了
        if(exec('type inotifywait', $o, $r) && $r !== 0) {
            print "Cannot find `inotifywait` command.\n";
            exit;
        }
        exec("pkill -f \"{$command}\"");
        $command .= " &";
        print "$command\n";
        if(file_exists($inotifyLog)) unlink($inotifyLog);
        exec($command);
        chmod($inotifyLog, 0600);
        return true;
    }
    return false;
}

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

<?php

/**

* rsync ミラーリング

* inotifiwait監視版

// ミラーリング元ディレクトリ

define('SOURCE_DIR', '/home/nas/data/');

// ミラーリング先ディレクトリ

define('BACKUP_DIR', '/home/nas_backup/data/');

// その他のrsyncオプション例: '--exclude=/temp/ --exclude=/*.bak';

define('OTHER_OPTIONS', '');

/**

set_time_limit(0);

date_default_timezone_set('Asia/Tokyo');

// 一時ファイル保存用ディレクトリ

define('TEMP_DIR', (file_exists('/dev/shm/') ? '/dev/shm/.' : '/var/tmp/.'). md5(__DIR__));

if(!file_exists(TEMP_DIR)) {

mkdir(TEMP_DIR);

chmod(TEMP_DIR, 0700);

}

// 各ディレクトリ名のデリミタ補正

$sourceDir = preg_replace('|/+$|', '/', SOURCE_DIR. '/');

$backupDir = preg_replace('|/+$|', '/', BACKUP_DIR. '/');

// バックアップ元・バックアップ先が無かったら終了

if(!file_exists($sourceDir) || strpos($backupDir, ':') === false && !file_exists($backupDir)) {

print "The source '{$sourceDir}' or backup '{$backupDir}' destination directory does not exist.\n";

exit;

}

// inotifywaitログファイルパス

$inotifyLog = TEMP_DIR. '/inotify.log';

// inotifywaitプロセス管理

$res = inotifywaitProcessManage($sourceDir, $inotifyLog);

// inotifywaitログが空か最終更新からの経過時間が2秒未満なら終了

if(file_exists($inotifyLog) && (filesize($inotifyLog) == 0 || time() - filemtime($inotifyLog) < 2) && !$res) {

exit;

}

// ロックファイル名

$lockFilename = TEMP_DIR. '/backup.lock';

// ロックファイルが存在していたら同名のプロセス実行中とみなし終了

if(file_exists($lockFilename)) {

print "A process with the same name is running.\n";

exit;

} else {

// ロックファイル作成

if(!@file_put_contents($lockFilename, 'Process is running.')) {

print "Could not create `$lockFilename`.\nSet the permissions of the directory `". TEMP_DIR. "` to 0700.\n";

exit;

}

chmod($lockFilename, 0600);

}

// 更新対象ディレクトリ取得

$updateDirList = getUpdataDirList($inotifyLog);

if(!$updateDirList) {

$updateDirList[] = $sourceDir;

}

// 更新対象ディレクトリに対してrsync実行

foreach($updateDirList as $dir) {

if(!file_exists($dir)) continue;

$path = str_replace($sourceDir, '', $dir);

// rsyncコマンド

$command = implode(" ", [

'rsync -avH',

'--delete',

OTHER_OPTIONS,

'"'. preg_replace('|/+$|', '/', ($sourceDir. $path. '/')). '"',

'"'. preg_replace('|/+$|', '/', ($backupDir. $path. '/')). '"',

]);

print "$command\n";

exec($command);

}

// ロックファイル削除

unlink($lockFilename);

exit;

/**

// inotifywaitログから更新対象ディレクトリ取得

function getUpdataDirList($inotifyLog) {

$retArr = [];

if(file_exists($inotifyLog)) {

$fp = fopen($inotifyLog, 'r+');

$tmpArr = [];

while(($l = fgets($fp)) !== false) {

$l = trim($l);

if(!$l) continue;

$l = preg_replace('|/[^/]+$|', '/', $l);

$tmpArr[$l] = true;

}

if($tmpArr) ftruncate($fp, 0);

fclose($fp);

$retArr = $tmpArr;

foreach($tmpArr as $k => $v) {

foreach($tmpArr as $k_ => $v_) {

if($k == $k_) continue;

if(isset($retArr[$k]) && strpos($k_, $k) === 0) unset($retArr[$k_]);

}

return array_keys($retArr);

}

// inotifywaitプロセス管理

function inotifywaitProcessManage($sourceDir, $inotifyLog) {

$command = "inotifywait -mr -o {$inotifyLog} -e create,delete,modify,moved_to,moved_from --format %w {$sourceDir}";

// 既存inotifywaitプロセス存在チェック

exec('ps x', $res);

$pf = 0;

foreach($res as $tmp) {

if(strpos($tmp, $command) !== false) $pf++;

}

// ログが無いかログ最終更新から1時間以上経過していたら

// 既存inotifywaitプロセスをkillした上で再度inotifywaitをバックグラウンド実行

if(!file_exists($inotifyLog) || time() - filemtime($inotifyLog) >= 3600 * 1 || !$pf) {

// inotifywaitコマンドが見つからなかったら終了

if(exec('type inotifywait', $o, $r) && $r !== 0) {

print "Cannot find `inotifywait` command.\n";

exit;

}

exec("pkill -f \"{$command}\"");

$command .= " &";

print "$command\n";

if(file_exists($inotifyLog)) unlink($inotifyLog);

exec($command);

chmod($inotifyLog, 0600);

return true;

}

return false;

}

ディレクトリの更新監視にinotifywaitを利用してはいますが、更新があった場合に自動的にmirroring.phpが実行されるわけではなくmirroring.phpはこれまで通りcronで定期的に実行し、スクリプト内でinotifywaitのログを参照することでその間に更新のあった監視対象内のサブディレクトリを取得してrsyncに渡すという動作になっています。

ここまで書いておいて何ですが、inotifyで監視してrsyncで同期という流れはLsyncdと似たようなことをしているわけなので、人によっては素直にLsyncdを導入したほうが楽かもしれません。

コメントを受け付けていません

PC, ソフトウェア by あけび

コメントを受け付けていません

　rsyncでNASのバックアップ(ミラーリングと世代管理バックアップ分離版)

2020. 4. 7 (火) | コメントを受け付けていません

タグ: backup, NAS, rsync, バックアップ, ミラーリング, 世代管理

今回もまた前回と同じような内容ですが、しばらく使っていると “こうしたほうが使いやすそう” と感じる部分もいくつか見えてくるのでその都度反映させていたりします。

LinuxディストリビューションとSambaで構築したNASにネットワーク共有用とバックアップ用それぞれ独立したHDDを載せて、以下のような構成で運用しているものに対してミラーリング及び世代管理バックアップを行う前提で記述しています。

NAS用ドライブ
ルート直下に
/data/　… ネットワークドライブ用
というディレクトリを作成。
これをマウントポイント
/home/nas/
にマウントしてあり、
/home/nas/data/
をsambaで共有ディレクトリに設定することでNASのネットワークドライブとして使用。

バックアップ用ドライブ
ルート直下に
/data/　… ミラーリング用
/generation/　… 世代管理バックアップ用
というディレクトリを作成。
これをマウントポイント
/home/nas_backup/
にマウントすることで、
/home/nas_backup/data/
を/home/nas/data/のミラーリング先、
/home/nas_backup/generation/
を/home/nas_backup/data/の世代バックアップ先としています。

図にするとこんなイメージになります。

mirroring.php
NAS共有ディレクトリをバックアップ元として、バックアップ先ドライブに対してrsyncの--deleteオプションを使用したミラーリングを行うスクリプトです。

<?php
/**
 *  rsync ミラーリング
 */

// ミラーリング元ディレクトリ
define('SOURCE_DIR', '/home/nas/data/');

// ミラーリング先ディレクトリ
define('BACKUP_DIR', '/home/nas_backup/data/');

// その他のrsyncオプション 例: '--exclude=/temp/ --exclude=/*.bak';
define('OTHER_OPTIONS', '');

/**
 *
 */

set_time_limit(0);
date_default_timezone_set('Asia/Tokyo');

// 一時ファイル保存用ディレクトリ
define('TEMP_DIR', (file_exists('/dev/shm/') ? '/dev/shm/.' : '/var/tmp/.'). md5(__DIR__));
if(!file_exists(TEMP_DIR)) {
    mkdir(TEMP_DIR);
    chmod(TEMP_DIR, 0700);
}

$tempFile = TEMP_DIR. '/mirroring.tmp';
$temps = getTmpFile($tempFile);

// 各ディレクトリ名のデリミタ補正
$sourceDir = preg_replace('|/+$|', '/', SOURCE_DIR. '/');
$backupDir = preg_replace('|/+$|', '/', BACKUP_DIR. '/');

// バックアップ元・バックアップ先が無かったら終了
if(!file_exists($sourceDir) || strpos($backupDir, ':') === false && !file_exists($backupDir)) {
    print "The source '{$sourceDir}' or backup '{$backupDir}' destination directory does not exist.\n";
    exit;
}

// バックアップ元ディスク使用量をチェック、前回から変化が無ければ何もせず終了
// 但しリネームや小サイズの更新ではブロックサイズが変化しない場合もあるので
// 前回ミラーリングから1時間以上経過している場合はブロックサイズの変化に関わらずミラーリングを行う
exec("df {$sourceDir}", $ret);
$usedSize = (preg_split('/\s+/', $ret[1]))[2];
$prevUsedSize = isset($temps['prev_used_size']) ? (time() - filemtime($tempFile) < 3600 ? $temps['prev_used_size'] : 0) : 0;
if($usedSize == $prevUsedSize) exit;

// ロックファイル名
$lockFilename = TEMP_DIR. '/backup.lock';

// ロックファイルが存在していたら同名のプロセス実行中とみなし終了
if(file_exists($lockFilename)) {
    print "A process with the same name is running.\n";
    exit;
} else {
    // ロックファイル作成
    if(!@file_put_contents($lockFilename, 'Process is running.')) {
        print "Could not create `$lockFilename`.\nSet the permissions of the directory `". TEMP_DIR. "` to 0700.\n";
        exit;
    }
    chmod($lockFilename, 0600);
}

// tmpファイルに保存する情報更新
// ミラーリングの場合はバックアップ元の使用ブロック数
$temps['prev_used_size'] = $usedSize;
setTmpFile($tempFile, $temps);

$updateDirList = getUpdataDirList($sourceDir);
if(!$updateDirList) {
    $updateDirList[] = $sourceDir;
}

foreach($updateDirList as $dir) {
    $path = str_replace($sourceDir, '', $dir);
    // rsyncコマンド
    $command = implode(" ", [
            'rsync -avH',
            '--delete',
            OTHER_OPTIONS,
            '"'. preg_replace('|/+$|', '/', ($sourceDir. $path. '/')). '"',
            '"'. preg_replace('|/+$|', '/', ($backupDir. $path. '/')). '"',
        ]);
    print "$command\n";
    exec($command);
}

// ロックファイル削除
unlink($lockFilename);

exit;

/**
 *
 */

// tmpファイル取得
function getTmpFile($fn) {
    if(file_exists($fn)) {
        $tmp = file_get_contents($fn);
        return(json_decode($tmp, true));
    }
    return [];
}

// tmpファイル保存
function setTmpFile($fn, $temps) {
    if(getTmpFile($fn) != json_encode($temps)) {
        if(!@file_put_contents($fn, json_encode($temps))) {
            print "Could not create `$fn`.\nSet the permissions of the directory `". TEMP_DIR. "` to 0700.\n";
            exit;
        }
        chmod($fn, 0600);
    }
}

// 更新ディレクトリ取得
function getUpdataDirList($sourceDir) {
    $duFile = TEMP_DIR. '/prev_du.txt';
    $prevDirList = duToArray($duFile);

    exec("du {$sourceDir} > {$duFile}");
    chmod($duFile, 0600);
    $dirList = duToArray($duFile);

    $tmpArr = [];
    foreach($dirList as $k => $v) {
        if(isset($prevDirList[$k]) && $prevDirList[$k] != $v) $tmpArr[$k] = $v;
    }
    unset($prevDirList, $dirList);

    $retArr = $tmpArr;
    foreach($tmpArr as $k => $v) {
        foreach($tmpArr as $k_ => $v_) {
            if($k == $k_) continue;
            if(isset($retArr[$k]) && strpos($k_, $k) === 0) unset($retArr[$k]);
        }
    }
    return array_keys($retArr);
}

// duコマンドの結果を配列に変換
function duToArray($duFile) {
    $retArr = [];
    if(file_exists($duFile)) {
        if($fp = @fopen($duFile, 'r')) {
            while(($l = fgets($fp)) !== false) {
                $l = trim($l);
                if(!$l) continue;
                $l = explode("\t", $l);
                $retArr[$l[1]] = $l[0];
            }
            fclose($fp);
        }
    }
    return $retArr;
}

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

<?php

/**

* rsync ミラーリング

// ミラーリング元ディレクトリ

define('SOURCE_DIR', '/home/nas/data/');

// ミラーリング先ディレクトリ

define('BACKUP_DIR', '/home/nas_backup/data/');

// その他のrsyncオプション例: '--exclude=/temp/ --exclude=/*.bak';

define('OTHER_OPTIONS', '');

/**

set_time_limit(0);

date_default_timezone_set('Asia/Tokyo');

// 一時ファイル保存用ディレクトリ

define('TEMP_DIR', (file_exists('/dev/shm/') ? '/dev/shm/.' : '/var/tmp/.'). md5(__DIR__));

if(!file_exists(TEMP_DIR)) {

mkdir(TEMP_DIR);

chmod(TEMP_DIR, 0700);

}

$tempFile = TEMP_DIR. '/mirroring.tmp';

$temps = getTmpFile($tempFile);

// 各ディレクトリ名のデリミタ補正

$sourceDir = preg_replace('|/+$|', '/', SOURCE_DIR. '/');

$backupDir = preg_replace('|/+$|', '/', BACKUP_DIR. '/');

// バックアップ元・バックアップ先が無かったら終了

if(!file_exists($sourceDir) || strpos($backupDir, ':') === false && !file_exists($backupDir)) {

print "The source '{$sourceDir}' or backup '{$backupDir}' destination directory does not exist.\n";

exit;

}

// バックアップ元ディスク使用量をチェック、前回から変化が無ければ何もせず終了

// 但しリネームや小サイズの更新ではブロックサイズが変化しない場合もあるので

// 前回ミラーリングから1時間以上経過している場合はブロックサイズの変化に関わらずミラーリングを行う

exec("df {$sourceDir}", $ret);

$usedSize = (preg_split('/\s+/', $ret[1]))[2];

$prevUsedSize = isset($temps['prev_used_size']) ? (time() - filemtime($tempFile) < 3600 ? $temps['prev_used_size'] : 0) : 0;

if($usedSize == $prevUsedSize) exit;

// ロックファイル名

$lockFilename = TEMP_DIR. '/backup.lock';

// ロックファイルが存在していたら同名のプロセス実行中とみなし終了

if(file_exists($lockFilename)) {

print "A process with the same name is running.\n";

exit;

} else {

// ロックファイル作成

if(!@file_put_contents($lockFilename, 'Process is running.')) {

print "Could not create `$lockFilename`.\nSet the permissions of the directory `". TEMP_DIR. "` to 0700.\n";

exit;

}

chmod($lockFilename, 0600);

}

// tmpファイルに保存する情報更新

// ミラーリングの場合はバックアップ元の使用ブロック数

$temps['prev_used_size'] = $usedSize;

setTmpFile($tempFile, $temps);

$updateDirList = getUpdataDirList($sourceDir);

if(!$updateDirList) {

$updateDirList[] = $sourceDir;

}

foreach($updateDirList as $dir) {

$path = str_replace($sourceDir, '', $dir);

// rsyncコマンド

$command = implode(" ", [

'rsync -avH',

'--delete',

OTHER_OPTIONS,

'"'. preg_replace('|/+$|', '/', ($sourceDir. $path. '/')). '"',

'"'. preg_replace('|/+$|', '/', ($backupDir. $path. '/')). '"',

]);

print "$command\n";

exec($command);

}

// ロックファイル削除

unlink($lockFilename);

exit;

/**

// tmpファイル取得

function getTmpFile($fn) {

if(file_exists($fn)) {

$tmp = file_get_contents($fn);

return(json_decode($tmp, true));

}

return [];

}

// tmpファイル保存

function setTmpFile($fn, $temps) {

if(getTmpFile($fn) != json_encode($temps)) {

if(!@file_put_contents($fn, json_encode($temps))) {

print "Could not create `$fn`.\nSet the permissions of the directory `". TEMP_DIR. "` to 0700.\n";

exit;

}

chmod($fn, 0600);

}

// 更新ディレクトリ取得

function getUpdataDirList($sourceDir) {

$duFile = TEMP_DIR. '/prev_du.txt';

$prevDirList = duToArray($duFile);

exec("du {$sourceDir} > {$duFile}");

chmod($duFile, 0600);

$dirList = duToArray($duFile);

$tmpArr = [];

foreach($dirList as $k => $v) {

if(isset($prevDirList[$k]) && $prevDirList[$k] != $v) $tmpArr[$k] = $v;

}

unset($prevDirList, $dirList);

$retArr = $tmpArr;

foreach($tmpArr as $k => $v) {

foreach($tmpArr as $k_ => $v_) {

if($k == $k_) continue;

if(isset($retArr[$k]) && strpos($k_, $k) === 0) unset($retArr[$k]);

}

return array_keys($retArr);

}

// duコマンドの結果を配列に変換

function duToArray($duFile) {

$retArr = [];

if(file_exists($duFile)) {

if($fp = @fopen($duFile, 'r')) {

while(($l = fgets($fp)) !== false) {

$l = trim($l);

if(!$l) continue;

$l = explode("\t", $l);

$retArr[$l[1]] = $l[0];

}

fclose($fp);

}

return $retArr;

}

バックアップ元ディスク容量が前回実行時から変化していなければrsyncは行わず終了するようにしてありますので頻繁に実行しても極端に負荷が高くなることは無いとは思いますが、その辺りは環境に合わせて加減してください。
容量チェックはdfコマンドを使用したものでファイル名の変更や小サイズの変更などブロックサイズの変化しない更新は察知できませんので、前回実行から1時間以上経過していたらバックアップ元ディスク容量が変化していなくてもrsyncを実行するようにしています。

主な設定項目

// ミラーリング元ディレクトリ
define(‘SOURCE_DIR’, ‘/home/nas/data/’);

ミラーリング元となるディレクトリを指定。

// ミラーリング先ディレクトリ
define(‘BACKUP_DIR’, ‘/home/nas_backup/data/’);

ミラーリング先となるディレクトリを指定。
こちらは先頭に「ユーザーアカウント@ホスト名:」等を含めたリモートでの指定も可能ですが、cronでの自動実行時にはリモートへのログイン時にパスワード入力待ちが発生しないようパスワード無しでの鍵認証ログインができるよう適宜設定しておく必要があります。

generation.php
ミラーリングされたディレクトリを元に、世代管理用ディレクトリに対してrsyncの--link-destオプションを使用したバックアップを行うスクリプトです。
バックアップ用ドライブがNAS本体とは別のリモートにある場合はこのスクリプトもリモート側へ設置します。

<?php
/**
 *  rsync 世代バックアップ
 */

// バックアップ元ディレクトリ
define('SOURCE_DIR', '/home/nas_backup/data/');

// バックアップ先ディレクトリ
define('BACKUP_DIR', '/home/nas_backup/generation/');

// その他のrsyncオプション 例: '--exclude=/temp/ --exclude=/*.bak';
define('OTHER_OPTIONS', '');

// バックアップ世代数
define('BACKUP_GENERATION', 200);

// 古いバックアップを削除するディスク容量閾値(%)
// 0の場合はディスク容量のチェックは行いません
define('THRESHOLD', 95);

/**
 *
 */

set_time_limit(0);
date_default_timezone_set('Asia/Tokyo');

// 一時ファイル保存用ディレクトリ
define('TEMP_DIR', (file_exists('/dev/shm/') ? '/dev/shm/.' : '/var/tmp/.'). md5(__DIR__));
if(!file_exists(TEMP_DIR)) {
    mkdir(TEMP_DIR);
    chmod(TEMP_DIR, 0700);
}

// 各ディレクトリ名のデリミタ補正
$sourceDir = preg_replace('|/+$|', '/', SOURCE_DIR. '/');
$backupDir = preg_replace('|/+$|', '/', BACKUP_DIR. '/');

// バックアップ元・バックアップ先が無かったら終了
if(!file_exists($sourceDir) || !file_exists($backupDir)) {
    print "The source '{$sourceDir}' or backup '{$backupDir}' destination directory does not exist.\n";
    exit;
}

$nowDate = date('Y-m-d_Hi');

// ロックファイル名
$lockFilename = TEMP_DIR. '/backup.lock';

// ロックファイルが存在していたら同名のプロセス実行中とみなし2分まで待機、その間に開放されなければ終了
$time = time();
while(file_exists($lockFilename)) {
    sleep(1);
    if($time + 120 < time()) {
        print "A process with the same name is running.\n";
        exit;
    }
}
// ロックファイル作成
if(!@file_put_contents($lockFilename, 'Process is running.')) {
    print "Could not create `$lockFilename`.\nSet the permissions of the directory `". TEMP_DIR. "` to 0700.\n";
    exit;
}
chmod($lockFilename, 0600);

// バックアップ済みディレクトリ名を取得
$backupList = getBackupList($backupDir);

// 古いバックアップを間引き
$processed = [];
foreach($backupList as $backupName) {
    if(!preg_match('/^(\d{4})-(\d\d)-(\d\d)_(\d\d)(\d\d)/', $backupName, $m) || isset($processed[$backupName])) continue;
    list($year, $month, $day, $hour, $minute) = array_slice($m, 1);
    $fDate = "$year-$month-$day $hour:$minute";

    // 1か月以上経過しているものはその月の最終のもの以外を削除
    if(time() >= strtotime("$fDate +1 month")) {
        $pickup = [];
        foreach($backupList as $tmp) {
            if(substr($tmp, 0, 7) == "{$year}-{$month}" && substr($tmp, 0, 10) <= "{$year}-{$month}-{$day}") $pickup[] = $tmp;
        }
        rsort($pickup);
        foreach(array_slice($pickup, 1) as $tmp) {
            deleteBackup($backupDir, $tmp, $processed);
        }
    }
    // 1日以上経過しているものはその日の最終のもの以外を削除
    elseif(time() >= strtotime("$fDate +1 day")) {
        $pickup = [];
        foreach($backupList as $tmp) {
            if(substr($tmp, 0, 10) == "{$year}-{$month}-{$day}" && $tmp <= $backupName) $pickup[] = $tmp;
        }
        rsort($pickup);
        foreach(array_slice($pickup, 1) as $tmp) {
            deleteBackup($backupDir, $tmp, $processed);
        }
    }
}
// バックアップ済みディレクトリ名を再取得
$backupList = getBackupList($backupDir);

// ディスク使用量が指定割合を下回るまで古いバックアップから削除
sort($backupList);
while(THRESHOLD && checkPercentage($backupDir) && count($backupList) > 1) {
    $command = "rm -rf {$backupDir}{$backupList[0]}";
    array_shift($backupList);
    print "$command\n";
    exec($command);
}

// 既存世代バックアップがある場合
if(count($backupList)) {
    rsort($backupList);
    // 保存世代数を超えるバックアップを古いものから削除
    if(count($backupList) >= BACKUP_GENERATION) {
        $delNames = array_slice($backupList, BACKUP_GENERATION -1);
        foreach($delNames as $del) {
            $command = "rm -rf {$backupDir}{$del}";
            print "$command\n";
            exec($command);
        }
    }
}

// 新規バックアップディレクトリ名
$backupName = "{$nowDate}/";

// rsyncコマンド
$command = implode(" ", [
        "rsync -av",
        OTHER_OPTIONS,
        "--link-dest={$sourceDir}",
        $sourceDir,
        sprintf("%s%s", $backupDir, $backupName),
    ]);
print "$command\n";
exec($command);

// バックアップ済みディレクトリ名を再取得
$backupList = getBackupList($backupDir);
// 1世代前のバックアップとの差分でログのみ取得
if(count($backupList) > 1) {
    rsort($backupList);
    $command = "rsync -avn --delete --exclude=/_rsync.log {$backupDir}{$backupList[0]}/ {$backupDir}{$backupList[1]}/ > {$backupDir}_rsync.log";
    exec($command);
    exec("mv {$backupDir}_rsync.log {$backupDir}{$backupList[0]}");
}

// ロックファイル削除
unlink($lockFilename);

exit;

/**
 *
 */

// 既存バックアップディレクトリ名取得
function getBackupList($backupDir) {
    $backupList = [];
    if($dir = opendir($backupDir)) {
        while($fn = readdir($dir)) {
            if(preg_match('/^\w{4}-\w{2}-\w{2}_\w{4,6}$/', $fn) && is_dir("{$backupDir}{$fn}")) {
                $backupList[] = $fn;
            }
        }
        closedir($dir);
    }
    return $backupList;
}

// バックアップ削除
function deleteBackup($backupDir, $str, &$processed) {
    if(isset($processed[$str])) return;
    if(file_exists("{$backupDir}{$str}")) {
        $command = "rm -rf {$backupDir}{$str}";
        print"$command\n";
        exec($command);
        $processed[$str] = 1;
    }
}

// ディスク使用量チェック
function checkPercentage($backupDir) {
    exec("df {$backupDir}", $ret);
    if(!isset($ret[1])) return false;
    if(preg_match('/(\d+)\%/', $ret[1], $ret)) {
        if($ret[1] >= THRESHOLD) return true;
    }
    return false;
}

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

<?php

/**

* rsync 世代バックアップ

// バックアップ元ディレクトリ

define('SOURCE_DIR', '/home/nas_backup/data/');

// バックアップ先ディレクトリ

define('BACKUP_DIR', '/home/nas_backup/generation/');

// その他のrsyncオプション例: '--exclude=/temp/ --exclude=/*.bak';

define('OTHER_OPTIONS', '');

// バックアップ世代数

define('BACKUP_GENERATION', 200);

// 古いバックアップを削除するディスク容量閾値(%)

// 0の場合はディスク容量のチェックは行いません

define('THRESHOLD', 95);

/**

set_time_limit(0);

date_default_timezone_set('Asia/Tokyo');

// 一時ファイル保存用ディレクトリ

define('TEMP_DIR', (file_exists('/dev/shm/') ? '/dev/shm/.' : '/var/tmp/.'). md5(__DIR__));

if(!file_exists(TEMP_DIR)) {

mkdir(TEMP_DIR);

chmod(TEMP_DIR, 0700);

}

// 各ディレクトリ名のデリミタ補正

$sourceDir = preg_replace('|/+$|', '/', SOURCE_DIR. '/');

$backupDir = preg_replace('|/+$|', '/', BACKUP_DIR. '/');

// バックアップ元・バックアップ先が無かったら終了

if(!file_exists($sourceDir) || !file_exists($backupDir)) {

print "The source '{$sourceDir}' or backup '{$backupDir}' destination directory does not exist.\n";

exit;

}

$nowDate = date('Y-m-d_Hi');

// ロックファイル名

$lockFilename = TEMP_DIR. '/backup.lock';

// ロックファイルが存在していたら同名のプロセス実行中とみなし2分まで待機、その間に開放されなければ終了

$time = time();

while(file_exists($lockFilename)) {

sleep(1);

if($time + 120 < time()) {

print "A process with the same name is running.\n";

exit;

}

// ロックファイル作成

if(!@file_put_contents($lockFilename, 'Process is running.')) {

print "Could not create `$lockFilename`.\nSet the permissions of the directory `". TEMP_DIR. "` to 0700.\n";

exit;

}

chmod($lockFilename, 0600);

// バックアップ済みディレクトリ名を取得

$backupList = getBackupList($backupDir);

// 古いバックアップを間引き

$processed = [];

foreach($backupList as $backupName) {

if(!preg_match('/^(\d{4})-(\d\d)-(\d\d)_(\d\d)(\d\d)/', $backupName, $m) || isset($processed[$backupName])) continue;

list($year, $month, $day, $hour, $minute) = array_slice($m, 1);

$fDate = "$year-$month-$day $hour:$minute";

// 1か月以上経過しているものはその月の最終のもの以外を削除

if(time() >= strtotime("$fDate +1 month")) {

$pickup = [];

foreach($backupList as $tmp) {

if(substr($tmp, 0, 7) == "{$year}-{$month}" && substr($tmp, 0, 10) <= "{$year}-{$month}-{$day}") $pickup[] = $tmp;

}

rsort($pickup);

foreach(array_slice($pickup, 1) as $tmp) {

deleteBackup($backupDir, $tmp, $processed);

}

// 1日以上経過しているものはその日の最終のもの以外を削除

elseif(time() >= strtotime("$fDate +1 day")) {

$pickup = [];

foreach($backupList as $tmp) {

if(substr($tmp, 0, 10) == "{$year}-{$month}-{$day}" && $tmp <= $backupName) $pickup[] = $tmp;

}

rsort($pickup);

foreach(array_slice($pickup, 1) as $tmp) {

deleteBackup($backupDir, $tmp, $processed);

}

// バックアップ済みディレクトリ名を再取得

$backupList = getBackupList($backupDir);

// ディスク使用量が指定割合を下回るまで古いバックアップから削除

sort($backupList);

while(THRESHOLD && checkPercentage($backupDir) && count($backupList) > 1) {

$command = "rm -rf {$backupDir}{$backupList[0]}";

array_shift($backupList);

print "$command\n";

exec($command);

}

// 既存世代バックアップがある場合

if(count($backupList)) {

rsort($backupList);

// 保存世代数を超えるバックアップを古いものから削除

if(count($backupList) >= BACKUP_GENERATION) {

$delNames = array_slice($backupList, BACKUP_GENERATION -1);

foreach($delNames as $del) {

$command = "rm -rf {$backupDir}{$del}";

print "$command\n";

exec($command);

}

// 新規バックアップディレクトリ名

$backupName = "{$nowDate}/";

// rsyncコマンド

$command = implode(" ", [

"rsync -av",

OTHER_OPTIONS,

"--link-dest={$sourceDir}",

$sourceDir,

sprintf("%s%s", $backupDir, $backupName),

]);

print "$command\n";

exec($command);

// バックアップ済みディレクトリ名を再取得

$backupList = getBackupList($backupDir);

// 1世代前のバックアップとの差分でログのみ取得

if(count($backupList) > 1) {

rsort($backupList);

$command = "rsync -avn --delete --exclude=/_rsync.log {$backupDir}{$backupList[0]}/ {$backupDir}{$backupList[1]}/ > {$backupDir}_rsync.log";

exec($command);

exec("mv {$backupDir}_rsync.log {$backupDir}{$backupList[0]}");

}

// ロックファイル削除

unlink($lockFilename);

exit;

/**

// 既存バックアップディレクトリ名取得

function getBackupList($backupDir) {

$backupList = [];

if($dir = opendir($backupDir)) {

while($fn = readdir($dir)) {

if(preg_match('/^\w{4}-\w{2}-\w{2}_\w{4,6}$/', $fn) && is_dir("{$backupDir}{$fn}")) {

$backupList[] = $fn;

}

closedir($dir);

}

return $backupList;

}

// バックアップ削除

function deleteBackup($backupDir, $str, &$processed) {

if(isset($processed[$str])) return;

if(file_exists("{$backupDir}{$str}")) {

$command = "rm -rf {$backupDir}{$str}";

print"$command\n";

exec($command);

$processed[$str] = 1;

}

// ディスク使用量チェック

function checkPercentage($backupDir) {

exec("df {$backupDir}", $ret);

if(!isset($ret[1])) return false;

if(preg_match('/(\d+)\%/', $ret[1], $ret)) {

if($ret[1] >= THRESHOLD) return true;

}

return false;

}

実行日時を名前としたディレクトリを作成し、その中にその時点のバックアップを残していきます。
rsyncの–link-destオプションを使うことで新規追加や変化のあったファイルのみが実体として保存され、それ以外のファイルはハードリンクが追加されるだけですので、ディスク容量消費や処理時間は増分バックアップと同程度でありながら作成されるバックアップはそれぞれがフルバックアップ相当になるという特徴があります。
1日以上経過したバックアップはその日の最終版のみ残して削除、1か月以上経過したバックアップはその月の最終版を残して削除、THRESHOLDで指定したディスク使用量に達した場合は下回るまで古いバックアップから削除といった処理もこちらのスクリプトで行なっています。

ハードリンクを有効に活用するため–link-destには1世代前のバックアップを指定するのが一般的ですが、今回の場合$sourceDir自身が既にミラーリングされたバックアップの一部なのでこちらを–link-destに指定しています。
こうすることで、容量の節約と同時に処理速度の短縮も図れます。

主な設定項目

// バックアップ元ディレクトリ
define(‘SOURCE_DIR’, ‘/home/nas_backup/data/’);

mirroring.phpでミラーリング先となったディレクトリを指定します。

// バックアップ先ディレクトリ
define(‘BACKUP_DIR’, ‘/home/nas_backup/generation/’);

世代管理バックアップ保存先を指定します。
このディレクトリの下に
YYYY-MM-DD_HHMM
形式でディレクトリが作成され、その中に各世代のバックアップが保存されていきます。
rsyncの--link-destオプションを使用し変更のないファイルは実体ではなくハードリンクが作成されますので、必要以上にディスク容量を消費しません。

// バックアップ世代数
define(‘BACKUP_GENERATION’, 200);

保存したい世代数を指定します。
世代バックアップ数がこの値を超えたら古いバックアップから削除されますが、間引き処理やディスク容量による削除処理の兼ね合いで、ここで指定した数に達する前に削除が行なわれる場合もあります。

// 古いバックアップを削除するディスク容量閾値(%)
// 0の場合はディスク容量のチェックは行いません
define(‘THRESHOLD’, 95);

dfコマンドでバックアップ先のディスク使用量(%)をチェックし、この値に達していたら値を下回るまで古いバックアップから順に削除を行います。
0では削除処理を行わなくなりますが、バックアップ先の空き容量が無くてもrsyncの実行を抑制する等の処理は行いません。

crontab設定例

# rsync mirroring
* * * * * php /スクリプト設置パス/mirroring.php &> /dev/null
* * * * * sleep 30; php /スクリプト設置パス/mirroring.php &> /dev/null

# rsync generation backup
0 */6 * * * php /スクリプト設置パス/generation.php &> /dev/null

上記の例では前半ブロックで30秒ごとのミラーリングを、後半ブロックで6時間ごとに世代管理バックアップを行なっています。

コメントを受け付けていません

PC, ソフトウェア by あけび

コメントを受け付けていません

　rsyncで世代バックアップ及びミラーリング

2020. 3. 30 (月) | コメントを受け付けていません

タグ: backup, PHP, rsync, バックアップ

rsyncで世代バックアップやミラーリングを行うためのPHPスクリプトです。
こちらで作成したものと基本的に同内容ですが、各処理ごとに分けていたスクリプトを個人的に扱いやすいよう1つにまとめたものです。

■スクリプト

backup.php

<?php
/**
 *  rsync backup
 */

set_time_limit(0);
date_default_timezone_set('Asia/Tokyo');

// configファイル存在チェック
if(!file_exists(__DIR__. '/backup_config.php')) {
    print "Configuration file 'backup_config.php' not found.\n";
    exit;
}
include(__DIR__. '/backup_config.php');

// 一時ファイル保存用ディレクトリを/var/tmp下に作成
define('TEMP_DIR', '/var/tmp/.'. md5(__FILE__));
if(!file_exists(TEMP_DIR)) {
    mkdir(TEMP_DIR);
    chmod(TEMP_DIR, 0700);
}

$tempFile = TEMP_DIR. '/backup.tmp';
$temps = getTmpFile($tempFile);

// ローテーション数1以下の場合はミラーリング
$mirroring = (BACKUP_GENERATION <= 1) ? 1 : 0;

// 前回の世代バックアップ日時から規定時間が経過していない場合はミラーリング
if(isset($temps['generation_backup_last']) &&
    strtotime($temps['generation_backup_last']) + GENERATION_BACKUP_INTERVAL * 60 >= time() &&
    (int)(strtotime(date('H:i')) / 60 - 900) % (GENERATION_BACKUP_INTERVAL ? GENERATION_BACKUP_INTERVAL : 1440)) $mirroring = 1;
$generationBackupTime = time();

// 各ディレクトリ名のデリミタ補正
$sourceDir = preg_replace('|/+$|', '/', SOURCE_DIR. '/');
$backupDir = preg_replace('|/+$|', '/', BACKUP_DIR. '/');

// ミラーリングの場合はバックアップ元ディスク使用量をチェック、前回から変化が無ければ何もせず終了
if($mirroring) {
    exec("df {$sourceDir}", $ret);
    $usedSize = (preg_split('/\s+/', $ret[1]))[2];
    $prevUsedSize = isset($temps['prev_used_size']) ? $temps['prev_used_size'] : 0;
    if($usedSize == $prevUsedSize) exit;
}

// バックアップ元・バックアップ先が無かったら終了
if(!file_exists($sourceDir) || !file_exists($backupDir)) {
    print "The source '{$sourceDir}' or backup '{$backupDir}' destination directory does not exist.\n";
    exit;
}

// ロックファイル名
$lockFilename = TEMP_DIR. '/backup.lock';

// ロックファイルが存在していたら同名のプロセス実行中とみなし終了
if(file_exists($lockFilename)) {
    print "A process with the same name is running.\n";
    exit;
} else {
    // ロックファイル作成
    if(!@file_put_contents($lockFilename, 'Process is running.')) {
        print "Could not create `$lockFilename`.\nSet the permissions of the directory `". TEMP_DIR. "` to 0700.\n";
        exit;
    }
    chmod($lockFilename, 0600);
}

// tmpファイルに保存する情報更新
if($mirroring) {
    // ミラーリングの場合はバックアップ元の使用ブロック数
    exec("df {$sourceDir}", $ret);
    $temps['prev_used_size'] = (preg_split('/\s+/', $ret[1]))[2];
} else {
    // 世代バックアップの場合は最終バックアップ日時
    $temps['generation_backup_last'] = date('Y-m-d H:i', $generationBackupTime);
}
setTmpFile($tempFile, $temps);

// バックアップ済みディレクトリ名を取得
$backupList = getBackupList($backupDir);

// 古いバックアップを間引き
$processed = [];
foreach($backupList as $backupName) {
    if(!preg_match('/^(\d{4})-(\d\d)-(\d\d)_(\d\d)(\d\d)/', $backupName, $m) || isset($processed[$backupName])) continue;
    list($year, $month, $day, $hour, $minute) = array_splice($m, 1);
    $fDate = "$year-$month-$day $hour:$minute";

    // 1か月以上経過しているものはその月の最終のもの以外を削除
    // (+5 minuteは他のバックアップ処理とのタイミングをずらすためのマージン)
    if(time() >= strtotime("$fDate +1 month +5 minute")) {
        $pickup = [];
        foreach($backupList as $tmp) {
            if(substr($tmp, 0, 7) == "{$year}-{$month}" && substr($tmp, 0, 10) <= "{$year}-{$month}-{$day}") $pickup[] = $tmp;
        }
        rsort($pickup);
        foreach(array_slice($pickup, 1) as $tmp) {
            deleteBackup($backupDir, $tmp, $processed);
        }
    }
    // 1日以上経過しているものはその日の最終のもの以外を削除
    elseif(time() >= strtotime("$fDate +1 day +5 minute")) {
        $pickup = [];
        foreach($backupList as $tmp) {
            if(substr($tmp, 0, 10) == "{$year}-{$month}-{$day}" && $tmp <= $backupName) $pickup[] = $tmp;
        }
        rsort($pickup);
        foreach(array_slice($pickup, 1) as $tmp) {
            deleteBackup($backupDir, $tmp, $processed);
        }
    }
}
// バックアップ済みディレクトリ名を再取得
$backupList = getBackupList($backupDir);

// ディスク使用量が指定割合を下回るまで古いバックアップから削除
sort($backupList);
while(THRESHOLD && checkPercentage($backupDir) && count($backupList) > 1) {
    $command = "rm -rf {$backupDir}{$backupList[0]}";
    array_shift($backupList);
    print "$command\n";
    exec($command);
}

// 既存バックアップがある場合
$linkDest = '';
if(count($backupList)) {
    rsort($backupList);
    if($mirroring) {
        // ミラーリングの場合最新バックアップディレクトリ自体をバックアップ先に指定
        $backupName_ = $backupList[0];
    } else {
        // 世代バックアップの場合既存の最新バックアップディレクトリを--link-destの参照元に指定
        $linkDest = "--link-dest=". (preg_match('/^\.+/', $backupDir) ? "../{$backupList[0]}" : "{$backupDir}{$backupList[0]}");
    }
    // 保存世代数を超えるバックアップを古いものから削除
    if(!$mirroring && count($backupList) >= BACKUP_GENERATION) {
        $delNames = array_slice($backupList, $mirroring ? 1 : BACKUP_GENERATION -1);
        foreach($delNames as $del) {
            $command = "rm -rf {$backupDir}{$del}";
            print "$command\n";
            exec($command);
        }
    }
}

// 新規バックアップディレクトリ名
$nowDate = date('Y-m-d_Hi');
$backupName = "{$nowDate}";
$logName = "{$nowDate}.log";

$backupLogDir = '__backup_log';
if($mirroring && file_exists("{$backupDir}{$backupName_}/{$backupLogDir}")) {
    exec("mv {$backupDir}{$backupName_}/{$backupLogDir} {$backupDir}");
}
if(!file_exists("{$backupDir}{$backupLogDir}")) {
    exec("mkdir {$backupDir}{$backupLogDir}");
}

// rsyncコマンドでバックアップ
$command = implode(" ", [
        "rsync -av",
        $mirroring ? '--delete' : '',
        OTHER_OPTIONS,
        $linkDest,
        $sourceDir,
        sprintf("%s%s", 
            $backupDir, isset($backupName_) ? $backupName_ : $backupName),
        "--log-file={$backupDir}{$backupLogDir}/{$logName}"
    ]);
print "$command\n";
exec($command);

// ミラーリングの場合バックアップ先ディレクトリ名を更新
if(MIRRORING_DIR_NAME_UPDATE && isset($backupName_)) {
    if(!file_exists("{$backupDir}{$backupName}")) {
        $rename = "mv {$backupDir}{$backupName_} {$backupDir}{$backupName}";
        print "$rename\n";
        exec($rename);
    }
} else {
    if(isset($backupName_)) $backupName = $backupName_;
}

// ログファイル移動
exec("mv {$backupDir}{$backupLogDir} {$backupDir}{$backupName}");

// ロックファイル削除
unlink($lockFilename);

exit;

/**
 *
 */

// 既存バックアップディレクトリ名取得
function getBackupList($backupDir) {
    $backupList = [];
    if($dir = opendir($backupDir)) {
        while($fn = readdir($dir)) {
            if(preg_match('/^\w{4}-\w{2}-\w{2}_\w{4,6}$/', $fn) && is_dir("{$backupDir}{$fn}")) {
                $backupList[] = $fn;
            }
        }
        closedir($dir);
    }
    return $backupList;
}

// バックアップ削除
function deleteBackup($backupDir, $str, &$processed) {
    if(isset($processed[$str])) return;
    if(file_exists("{$backupDir}{$str}")) {
        $command = "rm -rf {$backupDir}{$str}";
        print"$command\n";
        exec($command);
        $processed[$str] = 1;
    }
}

// ディスク使用量チェック
function checkPercentage($backupDir) {
    exec("df {$backupDir}", $ret);
    if(!isset($ret[1])) return false;
    if(preg_match('/(\d+)\%/', $ret[1], $ret)) {
        if($ret[1] >= THRESHOLD) return true;
    }
    return false;
}

// tmpファイル取得
function getTmpFile($fn) {
    if(file_exists($fn)) {
        $tmp = file_get_contents($fn);
        return(json_decode($tmp, true));
    }
    return [];
}

// tmpファイル保存
function setTmpFile($fn, $temps) {
    if(getTmpFile($fn) != json_encode($temps)) {
        if(!@file_put_contents($fn, json_encode($temps))) {
            print "Could not create `$fn`.\nSet the permissions of the directory `". TEMP_DIR. "` to 0700.\n";
            exit;
        }
        chmod($fn, 0600);
    }
}

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

246

247

248

249

250

251

<?php

/**

* rsync backup

set_time_limit(0);

date_default_timezone_set('Asia/Tokyo');

// configファイル存在チェック

if(!file_exists(__DIR__. '/backup_config.php')) {

print "Configuration file 'backup_config.php' not found.\n";

exit;

}

include(__DIR__. '/backup_config.php');

// 一時ファイル保存用ディレクトリを/var/tmp下に作成

define('TEMP_DIR', '/var/tmp/.'. md5(__FILE__));

if(!file_exists(TEMP_DIR)) {

mkdir(TEMP_DIR);

chmod(TEMP_DIR, 0700);

}

$tempFile = TEMP_DIR. '/backup.tmp';

$temps = getTmpFile($tempFile);

// ローテーション数1以下の場合はミラーリング

$mirroring = (BACKUP_GENERATION <= 1) ? 1 : 0;

// 前回の世代バックアップ日時から規定時間が経過していない場合はミラーリング

if(isset($temps['generation_backup_last']) &&

strtotime($temps['generation_backup_last']) + GENERATION_BACKUP_INTERVAL * 60 >= time() &&

(int)(strtotime(date('H:i')) / 60 - 900) % (GENERATION_BACKUP_INTERVAL ? GENERATION_BACKUP_INTERVAL : 1440)) $mirroring = 1;

$generationBackupTime = time();

// 各ディレクトリ名のデリミタ補正

$sourceDir = preg_replace('|/+$|', '/', SOURCE_DIR. '/');

$backupDir = preg_replace('|/+$|', '/', BACKUP_DIR. '/');

// ミラーリングの場合はバックアップ元ディスク使用量をチェック、前回から変化が無ければ何もせず終了

if($mirroring) {

exec("df {$sourceDir}", $ret);

$usedSize = (preg_split('/\s+/', $ret[1]))[2];

$prevUsedSize = isset($temps['prev_used_size']) ? $temps['prev_used_size'] : 0;

if($usedSize == $prevUsedSize) exit;

}

// バックアップ元・バックアップ先が無かったら終了

if(!file_exists($sourceDir) || !file_exists($backupDir)) {

print "The source '{$sourceDir}' or backup '{$backupDir}' destination directory does not exist.\n";

exit;

}

// ロックファイル名

$lockFilename = TEMP_DIR. '/backup.lock';

// ロックファイルが存在していたら同名のプロセス実行中とみなし終了

if(file_exists($lockFilename)) {

print "A process with the same name is running.\n";

exit;

} else {

// ロックファイル作成

if(!@file_put_contents($lockFilename, 'Process is running.')) {

print "Could not create `$lockFilename`.\nSet the permissions of the directory `". TEMP_DIR. "` to 0700.\n";

exit;

}

chmod($lockFilename, 0600);

}

// tmpファイルに保存する情報更新

if($mirroring) {

// ミラーリングの場合はバックアップ元の使用ブロック数

exec("df {$sourceDir}", $ret);

$temps['prev_used_size'] = (preg_split('/\s+/', $ret[1]))[2];

} else {

// 世代バックアップの場合は最終バックアップ日時

$temps['generation_backup_last'] = date('Y-m-d H:i', $generationBackupTime);

}

setTmpFile($tempFile, $temps);

// バックアップ済みディレクトリ名を取得

$backupList = getBackupList($backupDir);

// 古いバックアップを間引き

$processed = [];

foreach($backupList as $backupName) {

if(!preg_match('/^(\d{4})-(\d\d)-(\d\d)_(\d\d)(\d\d)/', $backupName, $m) || isset($processed[$backupName])) continue;

list($year, $month, $day, $hour, $minute) = array_splice($m, 1);

$fDate = "$year-$month-$day $hour:$minute";

// 1か月以上経過しているものはその月の最終のもの以外を削除

// (+5 minuteは他のバックアップ処理とのタイミングをずらすためのマージン)

if(time() >= strtotime("$fDate +1 month +5 minute")) {

$pickup = [];

foreach($backupList as $tmp) {

if(substr($tmp, 0, 7) == "{$year}-{$month}" && substr($tmp, 0, 10) <= "{$year}-{$month}-{$day}") $pickup[] = $tmp;

}

rsort($pickup);

foreach(array_slice($pickup, 1) as $tmp) {

deleteBackup($backupDir, $tmp, $processed);

}

// 1日以上経過しているものはその日の最終のもの以外を削除

elseif(time() >= strtotime("$fDate +1 day +5 minute")) {

$pickup = [];

foreach($backupList as $tmp) {

if(substr($tmp, 0, 10) == "{$year}-{$month}-{$day}" && $tmp <= $backupName) $pickup[] = $tmp;

}

rsort($pickup);

foreach(array_slice($pickup, 1) as $tmp) {

deleteBackup($backupDir, $tmp, $processed);

}

// バックアップ済みディレクトリ名を再取得

$backupList = getBackupList($backupDir);

// ディスク使用量が指定割合を下回るまで古いバックアップから削除

sort($backupList);

while(THRESHOLD && checkPercentage($backupDir) && count($backupList) > 1) {

$command = "rm -rf {$backupDir}{$backupList[0]}";

array_shift($backupList);

print "$command\n";

exec($command);

}

// 既存バックアップがある場合

$linkDest = '';

if(count($backupList)) {

rsort($backupList);

if($mirroring) {

// ミラーリングの場合最新バックアップディレクトリ自体をバックアップ先に指定

$backupName_ = $backupList[0];

} else {

// 世代バックアップの場合既存の最新バックアップディレクトリを--link-destの参照元に指定

$linkDest = "--link-dest=". (preg_match('/^\.+/', $backupDir) ? "../{$backupList[0]}" : "{$backupDir}{$backupList[0]}");

}

// 保存世代数を超えるバックアップを古いものから削除

if(!$mirroring && count($backupList) >= BACKUP_GENERATION) {

$delNames = array_slice($backupList, $mirroring ? 1 : BACKUP_GENERATION -1);

foreach($delNames as $del) {

$command = "rm -rf {$backupDir}{$del}";

print "$command\n";

exec($command);

}

// 新規バックアップディレクトリ名

$nowDate = date('Y-m-d_Hi');

$backupName = "{$nowDate}";

$logName = "{$nowDate}.log";

$backupLogDir = '__backup_log';

if($mirroring && file_exists("{$backupDir}{$backupName_}/{$backupLogDir}")) {

exec("mv {$backupDir}{$backupName_}/{$backupLogDir} {$backupDir}");

}

if(!file_exists("{$backupDir}{$backupLogDir}")) {

exec("mkdir {$backupDir}{$backupLogDir}");

}

// rsyncコマンドでバックアップ

$command = implode(" ", [

"rsync -av",

$mirroring ? '--delete' : '',

OTHER_OPTIONS,

$linkDest,

$sourceDir,

sprintf("%s%s",

$backupDir, isset($backupName_) ? $backupName_ : $backupName),

"--log-file={$backupDir}{$backupLogDir}/{$logName}"

]);

print "$command\n";

exec($command);

// ミラーリングの場合バックアップ先ディレクトリ名を更新

if(MIRRORING_DIR_NAME_UPDATE && isset($backupName_)) {

if(!file_exists("{$backupDir}{$backupName}")) {

$rename = "mv {$backupDir}{$backupName_} {$backupDir}{$backupName}";

print "$rename\n";

exec($rename);

}

} else {

if(isset($backupName_)) $backupName = $backupName_;

}

// ログファイル移動

exec("mv {$backupDir}{$backupLogDir} {$backupDir}{$backupName}");

// ロックファイル削除

unlink($lockFilename);

exit;

/**

// 既存バックアップディレクトリ名取得

function getBackupList($backupDir) {

$backupList = [];

if($dir = opendir($backupDir)) {

while($fn = readdir($dir)) {

if(preg_match('/^\w{4}-\w{2}-\w{2}_\w{4,6}$/', $fn) && is_dir("{$backupDir}{$fn}")) {

$backupList[] = $fn;

}

closedir($dir);

}

return $backupList;

}

// バックアップ削除

function deleteBackup($backupDir, $str, &$processed) {

if(isset($processed[$str])) return;

if(file_exists("{$backupDir}{$str}")) {

$command = "rm -rf {$backupDir}{$str}";

print"$command\n";

exec($command);

$processed[$str] = 1;

}

// ディスク使用量チェック

function checkPercentage($backupDir) {

exec("df {$backupDir}", $ret);

if(!isset($ret[1])) return false;

if(preg_match('/(\d+)\%/', $ret[1], $ret)) {

if($ret[1] >= THRESHOLD) return true;

}

return false;

}

// tmpファイル取得

function getTmpFile($fn) {

if(file_exists($fn)) {

$tmp = file_get_contents($fn);

return(json_decode($tmp, true));

}

return [];

}

// tmpファイル保存

function setTmpFile($fn, $temps) {

if(getTmpFile($fn) != json_encode($temps)) {

if(!@file_put_contents($fn, json_encode($temps))) {

print "Could not create `$fn`.\nSet the permissions of the directory `". TEMP_DIR. "` to 0700.\n";

exit;

}

chmod($fn, 0600);

}

backup_config.php

<?php
/**
 *  rsync backup configuration
 */

// バックアップ元ディレクトリ
define('SOURCE_DIR', '/mnt/nas/');

// バックアップ先ディレクトリ
define('BACKUP_DIR', '/mnt/nas_backup/');

// その他のrsyncオプション 例: '--exclude=/temp/ --exclude=/*.bak/';
define('OTHER_OPTIONS', '');

// バックアップ世代数
define('BACKUP_GENERATION', 200);

// 世代バックアップ間隔(分)
// 0の場合は1日間隔
define('GENERATION_BACKUP_INTERVAL', 360);

// ミラーリング時にバックアップ先となったディレクトリ名の更新(0:更新しない 1:更新する)
define('MIRRORING_DIR_NAME_UPDATE', 0);

// 古いバックアップを削除するディスク容量閾値(%)
// 0の場合はディスク容量のチェックは行いません
define('THRESHOLD', 95);

/**
 *
 */

<?php

/**

* rsync backup configuration

// バックアップ元ディレクトリ

define('SOURCE_DIR', '/mnt/nas/');

// バックアップ先ディレクトリ

define('BACKUP_DIR', '/mnt/nas_backup/');

// その他のrsyncオプション例: '--exclude=/temp/ --exclude=/*.bak/';

define('OTHER_OPTIONS', '');

// バックアップ世代数

define('BACKUP_GENERATION', 200);

// 世代バックアップ間隔(分)

// 0の場合は1日間隔

define('GENERATION_BACKUP_INTERVAL', 360);

// ミラーリング時にバックアップ先となったディレクトリ名の更新(0:更新しない 1:更新する)

define('MIRRORING_DIR_NAME_UPDATE', 0);

// 古いバックアップを削除するディスク容量閾値(%)

// 0の場合はディスク容量のチェックは行いません

define('THRESHOLD', 95);

/**

■backup_config.phpの設定

　// バックアップ元ディレクトリ
　define(‘SOURCE_DIR’, ‘/mnt/nas/’);

バックアップ元のディレクトリをフルパスで指定します。
リモートには非対応です。

　// バックアップ先ディレクトリ
　define(‘BACKUP_DIR’, ‘/mnt/nas_backup/’);

バックアップ元のディレクトリをフルパスで指定します。
リモートには非対応です。
このディレクトリ以下に、バックアップ日時を名前としたサブディレクトリとともにバックアップが行なわれます。

　// バックアップ世代数
　define(‘BACKUP_GENERATION’, 200);

世代バックアップを行いたい場合、残したい世代数を2以上の値を指定します。
1以下にすると世代バックアップはせずに最新のバックアップに対するミラーリングとなります。
後述するバックアップ先容量監視での削除や間引き処理もありますので、この世代数に達していなくても削除が行なわれる場合があります。

間引き処理は以下のものがあります。
1日以上経過したバックアップはその日の最終のもののみ残し、それ以外を削除
1か月以上経過したバックアップはその月の最終のもののみ残し、それ以外を削除

　// 世代バックアップ間隔(分)
　// 0の場合は1日間隔
　define(‘GENERATION_BACKUP_INTERVAL’, 360);

世代バックアップを行う間隔を分単位で指定します。
360で6時間間隔、720で12時間間隔になります。

　// ミラーリング時にバックアップ先となったディレクトリ名の更新(0:更新しない 1:更新する)
　define(‘MIRRORING_DIR_NAME_UPDATE’, 0);

ミラーリング時は既に存在する最新のバックアップに対してミラーリングを行いますが、ミラーリング先としたディレクトリ名を処理完了日時に合わせて変更するかを指定します。

　// 古いバックアップを削除するディスク容量閾値(%)
　// 0の場合はディスク容量のチェックは行いません
　define(‘THRESHOLD’, 95);

バックアップ先のディスクに対して古いバックアップの削除を開始する容量の閾値を%で指定します。
指定した値に達したら、それを下回るまで古いバックアップから順に削除されます。

■設置と実行スケジューリング

backup.phpとbackup_config.phpを同一ディレクトリへ保存し、crontabにて以下の設定を行います。

　* * * * * php /スクリプト設置パス/backup.php &> /dev/null

上記の例では毎分ごとにスクリプトが実行されます。
バックアップ元のディスク使用量に変化が無ければ処理を行わず終了し、排他処理も行い同一プロセスが複数同時に走らないようにもしていますので必要以上の負担はかからないかと思いますが、気になるようでしたら実行間隔を広げてください。
逆に、もっと間隔を短くしたい場合は以下のような指定方法もあります。

　* * * * * php /スクリプト設置パス/backup.php &> /dev/null
　* * * * * sleep 30; php /スクリプト設置パス/backup.php &> /dev/null

上記の例では毎分0秒と30秒に処理が実行されます。

実行した時の挙動は初回はフルバックアップ、GENERATION_BACKUP_INTERVAL で指定した間隔ごとに世代バックアップ、それ以外は最新バックアップに対するミラーリングとなります。

コメントを受け付けていません

PC, ソフトウェア by あけび

コメントを受け付けていません

　rsyncでの–link-destオプション使用時の挙動概要

2020. 2. 24 (月) | コメントを受け付けていません

タグ: --link-dest, rsync, ハードリンク

rsyncで--link-destオプションを使って差分履歴バックアップを取るときの挙動概要
バックアップ元(sourceディレクトリ内)にfile1～3のファイルがあるものとします。

1回目のバックアップを取ってみます。
(各パスは実際には正確に指定するものとします)

rsync -va --link-dest=../dest ./source/ ./backup1

初回バックアップ

backup1

file1

file2

file3

すべてのファイルがバックアップされます。
--link-destオプションにdestディレクトリを指定していますが、存在しないディレクトリなので無視されます。

バックアップ元のファイルを一切更新せず、1回目のバックアップをlink-destの対象として2回目のバックアップを取ってみます。

rsync -va --link-dest=../backup1 ./source/ ./backup2

バックアップ2回目

backup1

file1

file2

file3

backup2

バックアップ元のファイルは更新されていないので(backup1の中の各ファイルと同一)、全てのファイルに対してハードリンクのみが作成されます。
ハードリンクはファイルパス(ディレクトリエントリ)は複数存在しますがファイルの実体とiノードは同一のものを指している状態になります。
例えとして適切かは分かりませんが、電車のドア(ディレクトリエントリ)が複数あっても車内(iノード、実体)は同一と考えると分かりやすいかもしれません。
この状態で例えば backup1/file1 を書き換えると、backup2/file1 も同じiノードを指しているため backup2/file1 の内容も同じように変わりますが、backup1/file1 を削除しても backup1/file1 のディレクトリエントリが削除されるのみで、backup2/file1 は残ります。

バックアップ元のfile1を更新してから、2回目のバックアップをlink-destの対象として3回目のバックアップを取ってみます。

echo test >> ./source/file1

rsync -va --link-dest=../backup2 ./source/ ./backup3

バックアップ3回目

backup1

file1

file2

file3

backup2

backup3

file1(new)

バックアップ元のfile1が更新されているのでfile1のみ新たな実体ファイルとしてコピーされ、残りのファイルは引き続きハードリンクのみが作成されます。
「file1(new)」と書いていますが内容が更新されているという意味で、ファイル名に「(new)」が付加されているということではありません。

バックアップ元からfile2を削除、新たにfile4を作成したあとで、3回目のバックアップをlink-destの対象として4回目のバックアップを取ってみます。

rm ./source/file2

touch ./source/file4

rsync -va --link-dest=../backup3 ./source/ ./backup4

バックアップ4回目

backup1

file1

file2

file3

backup2

backup3

file1(new)

backup4

file4

file2は作成されず、3回目のバックアップには無かったfile4がバックアップ元からコピーされ、残りのファイルはハードリンクのみが作成されます。

ここで、1回目のバックアップを削除してみます。

1回目のバックアップ削除

rm -r ./backup1

backup2

file1

file2

file3

backup3

file1(new)

backup4

file4

backup1にあったfile1～3のハードリンクは削除されましたが、他のbackupディレクトリのファイルはこれまで通り残っています。

3回目のバックアップを削除してみます。

rm -r ./backup3

3回目のバックアップ削除

backup2

file1

file2

file3

backup4

file1(new)

file4

backup3のfile1(new)、file2、file3のハードリンクが削除されました。
他のbackupディレクトリのファイルはこれまで通り残っています。

2回目のバックアップを削除してみます。

rm -r ./backup2

2回目のバックアップ削除

backup4

file1(new)

file3

file4

backup2内のfile1、file2の実体と、file3のハードリンクが削除されました。
backup4ディレクトリのファイルはこれまで通り残っています。

バックアップ元のfile3を更新して、4回目のバックアップをlink-destの対象として5回目のバックアップを取ってみます。

echo test >> ./source/file3

rsync -va --link-dest=../backup4 ./source/ ./backup5

バックアップ5回目

backup4

file1(new)

file3

file4

backup5

file3(new)

file1(new)とfile4はハードリンクが作成され、file3(new)が新たにコピーされました。

これらの動作から、一番古いバックアップを削除し、最新のバックアップをlink-destの対象としてrsyncでバックアップすることで、上手い具合にローテーションさせつつ差分履歴バックアップが取れることがわかります。
ハードリンクの特徴をうまく利用した機能だと思います。

コメントを受け付けていません

internet, ソフトウェア by あけび

コメントを受け付けていません

　XubuntuとSambaでのNAS構築メモ

2020. 2. 22 (土) | コメントを受け付けていません

タグ: Linux, NAS, Samba, Ubuntu, Xubuntu, ファイルサーバ

Xubuntuのインストールまでは済んでいる前提です。

Xubuntu側ターミナルエミュレーターでの操作

・リモートアクセス時にわかりやすいようホスト名を変更(ここでは xubuntu-nas とします)
$ sudo nano /etc/hostname
1行だけホスト名が書かれているので xubuntu-nas に変更して保存

・SSHインストール
$ sudo apt install ssh

・再起動
$ sudo reboot

**** 再起動後 ****

WindowsPCからリモートで操作する場合はコマンドプロンプトから
> ssh Xubuntuユーザー名@xubuntu-nas
あるいは
> ssh Xubuntuユーザー名@xubuntu-nas.local
とすればパスワード入力後リモートでアクセスできます。
駄目だったら、Xubuntu側のコンソールで
$ ip a
か
$ ifconfig
でIPアドレスを確認して
> ssh Xubuntuユーザー名@IPアドレス
でアクセス。

・nas用共有ディレクトリ作成(ここでは /home/nas とします)
$ sudo mkdir /home/nas

・作成したディレクトリのパーミッションを変更
$ sudo chmod 0777 /home/nas

・Sambaインストール
$ sudo apt install samba

・NAS用ユーザーを作成(ここでは nasuser とします。Xubuntuの管理者ユーザー名を使う場合は不要)
$ sudo adduser nasuser
パスワードを聞いてくるので決める(2回目は確認)
ユーザー情報は全て未入力で[ENTER]でOK

・Samba用ユーザーを作成(ここでは nasuser とします。Xubuntuの管理者ユーザー名を流用する場合は同名で作成)
$ sudo pdbedit -a nasuser
パスワードを聞いてくるので決める(2回目は確認)

・smb.confを編集
$ sudo nano /etc/samba/smb.conf

行末に以下を追加

[nas]
	comment = xubuntu-nas
	path = /home/nas
	writeable = yes
	valid users = nasuser

[nas]

comment = xubuntu-nas

path = /home/nas

writeable = yes

valid users = nasuser

・Samba再起動
$ sudo systemctl restart smbd nmbd

********

Windows側操作

・PC(マイコンピュータ)アイコンを右クリック、「ネットワークドライブの割り当て」を選択
ドライブ: 空いている好きなドライブレターを選択
フォルダー: \\XUBUNTU-NAS\nas (参照ボタンから辿っても可)
「サインイン時に再接続する」にチェックして[完了]ボタン

「ネットワーク資格情報の入力」ダイアログが出たら、
ユーザー名: nasuser
パスワード: Samba用ユーザー作成時に決定したパスワード
を入力。
(Windowsのユーザー名、パスワードと一致している場合は出ません)

エクスプローラが表示されたらファイルやフォルダの読み書きができるか確認。
コピー、作成、編集、削除などできれば完了。

Windows側で作成したファイルをXubuntu側で見ると、ファイルの所有者が nasuser になっていると思います。
これをXubuntuの管理者ユーザを所有者としたい場合は、Samba用ユーザを管理者ユーザと同名で作成して smb.conf の valid users にそのユーザー名を指定すれば大丈夫です。
(「ネットワークドライブの割り当て」で別ユーザー名で割り当てたドライブ名が残っている場合は「ネットワークドライブの切断」で一旦切断してあらためて接続し直す必要があります)

********

USBハードディスク等、外付けドライブをNASのシェア対象にしたい場合

Xubuntu(Ubuntu)の場合はNTFSも読み書きできるようですが、ここではXubuntuでもデフォルトで使われているext4にしてみます。

まずUSBドライブを接続します。
接続すると大抵自動的に /media/ユーザー名/ 以下にマウントされますので、それを頼りにdfコマンドでデバイス名を調べます。
$ df
該当する位置にマウントされているデバイス名を控えておきます。
例: /dev/sdb1
環境によって変動しますので実際に確認してください。

マウントされていないようだったら、blkidコマンドで調べてください。
$ sudo blkid

・アンマウントします
$ sudo umount /dev/sdb1

・mkfsコマンドでラベル「USB-HDD」を付けてext4にフォーマット
$ sudo mkfs -t ext4 -L USB-HDD /dev/sdb1

・フォーマット完了したUSBドライブのUUIDを調べます
$ sudo blkid
フォーマット時に付けたラベルが LABEL=”USB-HDD” のように表示されていますので、そのデバイスのUUIDを控えておきます。
例: 89999481-ced4-480b-9e5f-20278bf543db

・外付けドライブ用のマウントポイントを作成します。
ここでは「/home/usb1」としておきます。

ディレクトリ作成
$ sudo mkdir /home/usb1

パーミッション変更
$ sudo chmod 0777 /home/usb1

・/etc/fstabに追記
$ sudo nano /etc/fstab

最終行に以下を追記します。
UUID=控えておいたUUID マウントポイントファイルシステム nofail,noatime 0 0

例

# usb-hdd1
UUID=89999481-ced4-480b-9e5f-20278bf543db /home/usb1 ext4 nofail,noatime 0 0

1 2	# usb-hdd1 UUID=89999481-ced4-480b-9e5f-20278bf543db /home/usb1 ext4 nofail,noatime 0 0

/etc/fstab に書き込んでおくと再起動時やmount -aコマンド実行時に、指定されたマウントポイントにマウントされます。
取り外されることもあるデバイスですのでnofailを指定しています。
nofailではデバイスが見つかればマウントし、見つからなければその時点では無視されますが、無視された場合でも該当デバイスが接続されたタイミングでマウントされます。
noatimeはファイルを読み込むたびにアクセス日時のタイムスタンプが更新されるのを無効にします。

・再マウント
$ sudo mount -a

・マウントされたか確認
$ df

・マウントされたのを確認したら再度パーミッション変更(マウントポイントではなく外付けHDD側のパーミッション変更になります)
$ sudo chmod 0777 /home/usb1

・smb.confを編集
$ sudo nano /etc/samba/smb.conf

行末に以下を追加

[nas-usb]
	comment = xubuntu-nas-usb
	path = /home/usb1
	writeable = yes
	valid users = nasuser

[nas-usb]

comment = xubuntu-nas-usb

path = /home/usb1

writeable = yes

valid users = nasuser

・Samba再起動
$ sudo systemctl restart smbd nmbd

以降、同じようにWindows側からネットワークドライブとしてアクセスできます。

・PC(マイコンピュータ)アイコンを右クリック、「ネットワークドライブの割り当て」を選択
ドライブ: 空いている好きなドライブレターを選択
フォルダー: \\XUBUNTU-NAS\nas-usb
「サインイン時に再接続する」にチェック

NASとして使用しているPCでブート順位がUSBドライブ優先になっていると、USBドライブを繋いだまま再起動させた場合システムが立ち上がらない場合もありますので起動優先順位を変更しておいてください。

ここに記載した内容をもとに、システム(内蔵ドライブ)、データ(外付けドライブ)、バックアップ(外付けドライブ)と分けて構築し直した際の記事をnoteへ書いています。

コメントを受け付けていません

PC by あけび

コメントを受け付けていません

ImageCanvas Annex

NASのバックアップ対象ディレクトリをinotifyで監視して更新されたディレクトリのみをrsyncでミラーリング

rsyncでNASのバックアップ(ミラーリングと世代管理バックアップ分離版)

rsyncで世代バックアップ及びミラーリング

■スクリプト

■backup_config.phpの設定

■設置と実行スケジューリング

rsyncでの–link-destオプション使用時の挙動概要

XubuntuとSambaでのNAS構築メモ

最近のコメント / トラックバック

最近の投稿

カテゴリー

アーカイブ

My Site

2023年5月
日	月	火	水	木	金	土
	1	2	3	4	5	6
7	8	9	10	11	12	13
14	15	16	17	18	19	20
21	22	23	24	25	26	27
28	29	30	31