rsyncで世代バックアップ及びミラーリング

2020. 3. 30 (月) | rsyncで世代バックアップ及びミラーリング はコメントを受け付けていません

rsyncで世代バックアップやミラーリングを行うためのPHPスクリプトです。
こちらで作成したものと基本的に同内容ですが、各処理ごとに分けていたスクリプトを個人的に扱いやすいよう1つにまとめたものです。

■スクリプト

backup.php

backup_config.php

■backup_config.phpの設定

 // バックアップ元ディレクトリ
 define(‘SOURCE_DIR’, ‘/mnt/nas/’);

バックアップ元のディレクトリをフルパスで指定します。
リモートには非対応です。

 // バックアップ先ディレクトリ
 define(‘BACKUP_DIR’, ‘/mnt/nas_backup/’);

バックアップ元のディレクトリをフルパスで指定します。
リモートには非対応です。
このディレクトリ以下に、バックアップ日時を名前としたサブディレクトリとともにバックアップが行なわれます。

 // バックアップ世代数
 define(‘BACKUP_GENERATION’, 200);

世代バックアップを行いたい場合、残したい世代数を2以上の値を指定します。
1以下にすると世代バックアップはせずに最新のバックアップに対するミラーリングとなります。
後述するバックアップ先容量監視での削除や間引き処理もありますので、この世代数に達していなくても削除が行なわれる場合があります。

間引き処理は以下のものがあります。
1日以上経過したバックアップはその日の最終のもののみ残し、それ以外を削除
1か月以上経過したバックアップはその月の最終のもののみ残し、それ以外を削除

 // 世代バックアップ間隔(分)
 // 0の場合は1日間隔
 define(‘GENERATION_BACKUP_INTERVAL’, 360);

世代バックアップを行う間隔を分単位で指定します。
360で6時間間隔、720で12時間間隔になります。

 // ミラーリング時にバックアップ先となったディレクトリ名の更新(0:更新しない 1:更新する)
 define(‘MIRRORING_DIR_NAME_UPDATE’, 0);

ミラーリング時は既に存在する最新のバックアップに対してミラーリングを行いますが、ミラーリング先としたディレクトリ名を処理完了日時に合わせて変更するかを指定します。

 // 古いバックアップを削除するディスク容量閾値(%)
 // 0の場合はディスク容量のチェックは行いません
 define(‘THRESHOLD’, 95);

バックアップ先のディスクに対して古いバックアップの削除を開始する容量の閾値を%で指定します。
指定した値に達したら、それを下回るまで古いバックアップから順に削除されます。

■設置と実行スケジューリング

backup.phpとbackup_config.phpを同一ディレクトリへ保存し、crontabにて以下の設定を行います。

 * * * * * php /スクリプト設置パス/backup.php &> /dev/null

上記の例では毎分ごとにスクリプトが実行されます。
バックアップ元のディスク使用量に変化が無ければ処理を行わず終了し、排他処理も行い同一プロセスが複数同時に走らないようにもしていますので必要以上の負担はかからないかと思いますが、気になるようでしたら実行間隔を広げてください。
逆に、もっと間隔を短くしたい場合は以下のような指定方法もあります。

 * * * * * php /スクリプト設置パス/backup.php &> /dev/null
 * * * * * sleep 30; php /スクリプト設置パス/backup.php &> /dev/null

上記の例では毎分0秒と30秒に処理が実行されます。

実行した時の挙動は初回はフルバックアップ、GENERATION_BACKUP_INTERVAL で指定した間隔ごとに世代バックアップ、それ以外は最新バックアップに対するミラーリングとなります。

rsyncで世代バックアップ及びミラーリング はコメントを受け付けていません
PC, ソフトウェア by あけび

 rsyncでの–link-destオプション使用時の挙動概要

2020. 2. 24 (月) | rsyncでの–link-destオプション使用時の挙動概要 はコメントを受け付けていません

rsyncで--link-destオプションを使って差分履歴バックアップを取るときの挙動概要
バックアップ元(sourceディレクトリ内)にfile1~3のファイルがあるものとします。

1回目のバックアップを取ってみます。
(各パスは実際には正確に指定するものとします)

rsync -va --link-dest=../dest ./source/ ./backup1
初回バックアップ
backup1

file1
file2
file3

すべてのファイルがバックアップされます。
--link-destオプションにdestディレクトリを指定していますが、存在しないディレクトリなので無視されます。

バックアップ元のファイルを一切更新せず、1回目のバックアップをlink-destの対象として2回目のバックアップを取ってみます。

rsync -va --link-dest=../backup1 ./source/ ./backup2
バックアップ2回目
backup1

file1
file2
file3

backup2

バックアップ元のファイルは更新されていないので(backup1の中の各ファイルと同一)、全てのファイルに対してハードリンクのみが作成されます。
ハードリンクはファイルパス(ディレクトリエントリ)は複数存在しますがファイルの実体とiノードは同一のものを指している状態になります。
例えとして適切かは分かりませんが、電車のドア(ディレクトリエントリ)が複数あっても車内(iノード、実体)は同一と考えると分かりやすいかもしれません。
この状態で例えば backup1/file1 を書き換えると、backup2/file1 も同じiノードを指しているため backup2/file1 の内容も同じように変わりますが、backup1/file1 を削除しても backup1/file1 のディレクトリエントリが削除されるのみで、backup2/file1 は残ります。

バックアップ元のfile1を更新してから、2回目のバックアップをlink-destの対象として3回目のバックアップを取ってみます。

echo test >> ./source/file1
rsync -va --link-dest=../backup2 ./source/ ./backup3
バックアップ3回目
backup1

file1
file2
file3

backup2
backup3

file1(new)

バックアップ元のfile1が更新されているのでfile1のみ新たな実体ファイルとしてコピーされ、残りのファイルは引き続きハードリンクのみが作成されます。
「file1(new)」と書いていますが内容が更新されているという意味で、ファイル名に「(new)」が付加されているということではありません。

バックアップ元からfile2を削除、新たにfile4を作成したあとで、3回目のバックアップをlink-destの対象として4回目のバックアップを取ってみます。

rm ./source/file2
touch ./source/file4
rsync -va --link-dest=../backup3 ./source/ ./backup4
バックアップ4回目
backup1

file1
file2
file3

backup2
backup3

file1(new)

backup4

file4

file2は作成されず、3回目のバックアップには無かったfile4がバックアップ元からコピーされ、残りのファイルはハードリンクのみが作成されます。

ここで、1回目のバックアップを削除してみます。

1回目のバックアップ削除
rm -r ./backup1
backup2

file1
file2
file3

backup3

file1(new)

backup4

file4

backup1にあったfile1~3のハードリンクは削除されましたが、他のbackupディレクトリのファイルはこれまで通り残っています。

3回目のバックアップを削除してみます。

rm -r ./backup3
3回目のバックアップ削除
backup2

file1
file2
file3

backup4

file1(new)
file4

backup3のfile1(new)、file2、file3のハードリンクが削除されました。
他のbackupディレクトリのファイルはこれまで通り残っています。

2回目のバックアップを削除してみます。

rm -r ./backup2
2回目のバックアップ削除
backup4

file1(new)
file3
file4

backup2内のfile1、file2の実体と、file3のハードリンクが削除されました。
backup4ディレクトリのファイルはこれまで通り残っています。

バックアップ元のfile3を更新して、4回目のバックアップをlink-destの対象として5回目のバックアップを取ってみます。

echo test >> ./source/file3
rsync -va --link-dest=../backup4 ./source/ ./backup5
バックアップ5回目
backup4

file1(new)
file3
file4

backup5

file3(new)

file1(new)とfile4はハードリンクが作成され、file3(new)が新たにコピーされました。

これらの動作から、一番古いバックアップを削除し、最新のバックアップをlink-destの対象としてrsyncでバックアップすることで、上手い具合にローテーションさせつつ差分履歴バックアップが取れることがわかります。
ハードリンクの特徴をうまく利用した機能だと思います。

rsyncでの–link-destオプション使用時の挙動概要 はコメントを受け付けていません
internet, ソフトウェア by あけび

 XubuntuとSambaでのNAS構築メモ

2020. 2. 22 (土) | XubuntuとSambaでのNAS構築メモ はコメントを受け付けていません

Xubuntuのインストールまでは済んでいる前提です。

Xubuntu側ターミナルエミュレーターでの操作

・リモートアクセス時にわかりやすいようホスト名を変更(ここでは xubuntu-nas とします)
$ sudo nano /etc/hostname
1行だけホスト名が書かれているので xubuntu-nas に変更して保存

・SSHインストール
$ sudo apt install ssh

・再起動
$ sudo reboot

**** 再起動後 ****

WindowsPCからリモートで操作する場合はコマンドプロンプトから
> ssh Xubuntuユーザー名@xubuntu-nas
あるいは
> ssh Xubuntuユーザー名@xubuntu-nas.local
とすればパスワード入力後リモートでアクセスできます。
駄目だったら、Xubuntu側のコンソールで
$ ip a

$ ifconfig
でIPアドレスを確認して
> ssh Xubuntuユーザー名@IPアドレス
でアクセス。

・nas用共有ディレクトリ作成(ここでは /home/nas とします)
$ sudo mkdir /home/nas

・作成したディレクトリのパーミッションを変更
$ sudo chmod 0777 /home/nas

・Sambaインストール
$ sudo apt install samba

・NAS用ユーザーを作成(ここでは nasuser とします。Xubuntuの管理者ユーザー名を使う場合は不要)
$ sudo adduser nasuser
パスワードを聞いてくるので決める(2回目は確認)
ユーザー情報は全て未入力で[ENTER]でOK

・Samba用ユーザーを作成(ここでは nasuser とします。Xubuntuの管理者ユーザー名を流用する場合は同名で作成)
$ sudo pdbedit -a nasuser
パスワードを聞いてくるので決める(2回目は確認)

・smb.confを編集
$ sudo nano /etc/samba/smb.conf

行末に以下を追加

・Samba再起動
$ sudo systemctl restart smbd nmbd

********

Windows側操作

・PC(マイコンピュータ)アイコンを右クリック、「ネットワークドライブの割り当て」を選択
ドライブ: 空いている好きなドライブレターを選択
フォルダー: \\XUBUNTU-NAS\nas (参照ボタンから辿っても可)
「サインイン時に再接続する」にチェックして[完了]ボタン

「ネットワーク資格情報の入力」ダイアログが出たら、
ユーザー名: nasuser
パスワード: Samba用ユーザー作成時に決定したパスワード
を入力。
(Windowsのユーザー名、パスワードと一致している場合は出ません)

エクスプローラが表示されたらファイルやフォルダの読み書きができるか確認。
コピー、作成、編集、削除などできれば完了。

Windows側で作成したファイルをXubuntu側で見ると、ファイルの所有者が nasuser になっていると思います。
これをXubuntuの管理者ユーザを所有者としたい場合は、Samba用ユーザを管理者ユーザと同名で作成して smb.conf の valid users にそのユーザー名を指定すれば大丈夫です。
(「ネットワークドライブの割り当て」で別ユーザー名で割り当てたドライブ名が残っている場合は「ネットワークドライブの切断」で一旦切断してあらためて接続し直す必要があります)

********

USBハードディスク等、外付けドライブをNASのシェア対象にしたい場合

Xubuntu(Ubuntu)の場合はNTFSも読み書きできるようですが、ここではXubuntuでもデフォルトで使われているext4にしてみます。

まずUSBドライブを接続します。
接続すると大抵自動的に /media/ユーザー名/ 以下にマウントされますので、それを頼りにdfコマンドでデバイス名を調べます。
$ df
該当する位置にマウントされているデバイス名を控えておきます。
例: /dev/sdb1
環境によって変動しますので実際に確認してください。

マウントされていないようだったら、blkidコマンドで調べてください。
$ sudo blkid

・アンマウントします
$ sudo umount /dev/sdb1

・mkfsコマンドでラベル「USB-HDD」を付けてext4にフォーマット
$ sudo mkfs -t ext4 -L USB-HDD /dev/sdb1

・フォーマット完了したUSBドライブのUUIDを調べます
$ sudo blkid
フォーマット時に付けたラベルが LABEL=”USB-HDD” のように表示されていますので、そのデバイスのUUIDを控えておきます。
例: 89999481-ced4-480b-9e5f-20278bf543db

・外付けドライブ用のマウントポイントを作成します。
ここでは「/home/usb1」としておきます。

ディレクトリ作成
$ sudo mkdir /home/usb1

パーミッション変更
$ sudo chmod 0777 /home/usb1

・/etc/fstabに追記
$ sudo nano /etc/fstab

最終行に以下を追記します。
UUID=控えておいたUUID マウントポイント ファイルシステム nofail,noatime 0 0

/etc/fstab に書き込んでおくと再起動時やmount -aコマンド実行時に、指定されたマウントポイントにマウントされます。
取り外されることもあるデバイスですのでnofailを指定しています。
nofailではデバイスが見つかればマウントし、見つからなければその時点では無視されますが、無視された場合でも該当デバイスが接続されたタイミングでマウントされます。
noatimeはファイルを読み込むたびにアクセス日時のタイムスタンプが更新されるのを無効にします。

・再マウント
$ sudo mount -a

・マウントされたか確認
$ df

・マウントされたのを確認したら再度パーミッション変更(マウントポイントではなく外付けHDD側のパーミッション変更になります)
$ sudo chmod 0777 /home/usb1

・smb.confを編集
$ sudo nano /etc/samba/smb.conf

行末に以下を追加

・Samba再起動
$ sudo systemctl restart smbd nmbd

以降、同じようにWindows側からネットワークドライブとしてアクセスできます。

・PC(マイコンピュータ)アイコンを右クリック、「ネットワークドライブの割り当て」を選択
ドライブ: 空いている好きなドライブレターを選択
フォルダー: \\XUBUNTU-NAS\nas-usb
「サインイン時に再接続する」にチェック

NASとして使用しているPCでブート順位がUSBドライブ優先になっていると、USBドライブを繋いだまま再起動させた場合システムが立ち上がらない場合もありますので起動優先順位を変更しておいてください。

ここに記載した内容をもとに、システム(内蔵ドライブ)、データ(外付けドライブ)、バックアップ(外付けドライブ)と分けて構築し直した際の記事をnoteへ書いています。

XubuntuとSambaでのNAS構築メモ はコメントを受け付けていません
PC by あけび

 EC-CUBE4用 スクロールページャー

2020. 2. 2 (日) | EC-CUBE4用 スクロールページャー はコメントを受け付けていません

いわゆる無限スクロールに対応させるものですが、EC-CUBE4に特化させたかったので既存の無限スクロール支援ライブラリは使用していません。
私自身は普段はjQueryもあまり使いませんが、EC-CUBE4がデフォルトでjQueryを使用しているので今回はjQueryについては使用しました。

ファイルダウンロード

 導入方法

verticalScrollPager.js の中身を html/user_data/assets/js/customize.js へ、
verticalScrollPager.css の中身を html/user_data/assets/css/customize.css へ
それぞれコピペすれば導入完了です。
ブラウザキャッシュが邪魔になる場合がありますので、その場合は必要に応じてキャッシュ対策等も行なってください。

デフォルトでスクロールでのページングになっていますが、件数/並び順プルダウンの上にある指アイコンをクリックすることで従来のページ遷移にも切り替えられます。(押すごとにトグル切替)

スクロールでのページング時にも現表示ページ数確認用も兼ねて画面下部に従来の遷移型ページャーを表示させていますが、邪魔であればページャー部分の余白部分か、スクロールページ内にあるページ区切り帯のページ数表示部分をクリックすれば消すことができます。
再度押すと再び表示します。

通常のページ遷移で途中ページから表示させた場合、それより若いページへスクロールで遡る動作には対応していません。

使用をやめる場合は、customize.js、customize.cssへそれぞれコピーした該当コードを削除するだけで元に戻ります。

次ページローディング中に画面下部へ表示させているCSSアイコンは、以下のサイトで作成したCSSコードを使わせていただきました。
CSSだけで作るloadingアイコンメーカー

EC-CUBE4用 スクロールページャー はコメントを受け付けていません
ソフトウェア by あけび

 PHPとrsyncでディレクトリをローテーションバックアップ

2020. 1. 18 (土) | PHPとrsyncでディレクトリをローテーションバックアップ はコメントを受け付けていません

通常ならこういったバッチ処理は.sh等のシェルスクリプトで記述するところかと思いますが、個人的に使い慣れたPHPで書いています。

PHPで行なっているのはローテーションさせるためのバックアップ先ディレクトリ名の管理くらいで、バックアップ処理そのものは単純にrsyncに任せています。

使用方法

backup.phpと、バックアップ対象パスなどrsyncへ渡すオプションを設定するbackup_config.phpを同一のディレクトリへ置いて使用します。
ローテーション回数の設定はbackup.php側にあります。
ローテーション回数を2以上に設定すると、--link-destオプションを使用した差分バックアップを行います。初回はフルバックアップになりますが、2回目以降は変化のなかったファイルに対してはハードリンクのみを作成し、変化のあったファイルのみが実体ファイルとしてコピーされますので、ローテーション回数が比較的多めでもディスク消費量やバックアップにかかる時間を必要最小限に抑えることができます。
動作の概要についてはこちらを。

ローテーションを1回に指定した場合は--link-destオプションは使わず、既存のバックアップの中のいちばん新しいものに対して、--deleteオプションを付けて実行します。
ローテーション有り(2回以上)か無し(1回)かのどちらか一方で動作させるだけでも良いですが、backup.phpを例えばbackup_sub.phpという名前でコピーし、backup.php側をローテーション指定で1日1回実行、backup_sub.php側をローテーション無し(1回)指定で例えば1時間おきに実行させることで、1時間おきに最新の状態にミラーリングさせつつ、1日1回履歴バックアップを残すといった使い方もできます。

PHPファイルですが、Webアプリケーションではないのでシェルから実行します。

 $ php /スクリプト設置パス/backup.php

YYYYMMDD_hhmmss.bak という名前のディレクトリにバックアップ、
YYYYMMDD_hhmmss.log にrsyncのログを保存します。

cronでスケジューリングする場合は以下のようになります。
設定例(毎日午前4時に実行)

 # rotation backup
 0 4 * * * php /スクリプト設置パス/backup.php &> /dev/null

設定例 毎日午前4時に履歴差分バックアップをしつつ、毎正時にミラーリング
(backup.php側でローテーション回数2以上で設定、backup.phpをコピーしたbackup_sub.php側でローテーション回数1を指定している前提です。)

 # main rotation backup
 0 4 * * * php /スクリプト設置パス/backup.php &> /dev/null
 # sub mirroring
 0 * * * * php /スクリプト設置パス/backup_sub.php &> /del/null

設定によっては複数が同時に実行開始される場合がありますが、実行の際にはロックファイルを用いて排他処理しているので、同時に複数のバックアップ処理が回ってしまうことはありません。
また、ローテーション無しでの実行の場合はバックアップ開始まで5秒遅らせるようにしてありますので、同時に走り出してもローテーション有りのほうが優先して実行されるようになっています。

オプションでold_delete.phpとcapacity_check.phpも用意しました。
backup.phpでローテーション回数を多く設定した場合のサポート的な位置付けです。
使用する場合は、どちらもbackup.phpと同じディレクトリへ設置してください。
old_delete.phpは古いバックアップを間引くスクリプトで、1日以上経過したらその日のバックアップの中で最終のものを残して削除、1か月以上経過したらその月のバックアップの中で最終のものを残して削除します。
capacity_check.phpはバックアップディスクの容量をチェックし、指定した割合に達したら下回るまで古いバックアップから順に削除するスクリプトです。
どちらか一方でも、両方設置しても問題ありません。

cronでスケジュール実行する場合は、1日1回程度backup.phpとは時間をずらして実行すればよいかと思います。

設定例 old_delete.phpを毎日5時に、capacity_check.phpを毎日5時5分に実行するよう設定しています。

 # main rotation backup
 0 4 * * * php /スクリプト設置パス/backup.php &> /dev/null
 # sub mirroring
 0 * * * * php /スクリプト設置パス/backup_sub.php &> /del/null
 # olddata delete
 0 5 * * * php /スクリプト設置パス/old_delete.php &> /dev/null
 # diskcapacity check delete
 5 5 * * * php /スクリプト設置パス/capacity_check.php &> /dev/null

スクリプト

backup.php

backup_config.php

old_delete.php

capacity_check.php

PHPとrsyncでディレクトリをローテーションバックアップ はコメントを受け付けていません
PC by あけび