kazu634/UnifyDrive2NAS
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

feat: Dagu DAGと配置手順を追加

Browse Source
This commit is contained in:
kazu634
2026-10-12 18:15:26 +09:00
parent aa11347fa3
commit ba145d801a
3 changed files with 271 additions and 7 deletions
Download Patch File Download Diff File Expand all files Collapse all files
PROJECT.md
+93 -7
View File
@@ -3,7 +3,7 @@ title: UnifyDrive2NAS の現状
tags:
- homelab
- UnifyDrive2NAS
status: コピーコア実装済み
status: DAG 定義・配置手順作成済み
---
# UnifyDrive2NAS の現状
@@ -15,7 +15,7 @@ status: コピーコア実装済み
- Python 3.8 の標準ライブラリと同梱した `exifread` 3.5.1 だけで動くコピーコアを実装済み
- コピー済み一覧、初期化、ドライラン、二重起動防止、マウント確認を含む
- NAS への配置と Dagu の DAG 定義は未実施
- Dagu の DAG 定義と配置手順を作成済み。NAS と Dagu VM への実配置、初期化、定期実行の開始は未実施
## 目的
@@ -44,6 +44,11 @@ status: コピーコア実装済み
| 隠しファイル | **先頭が `.` のファイル・フォルダはコピーしない**（`.<元の名前>.z<16 進 32 桁>` の書きかけと推定されるファイルを含む）（ユーザー判断、2026-10-12） |
| カメラの管理フォルダ内の動画 | **コピー対象とする**。Sony の動画は `PlugBackup/<回>/.../PRIVATE/M4ROOT/CLIP/*.MP4` にあり（2026-10-12 時点で 9 本・約 5.4 GB）、`mvhd` を JST に変換した時刻が同じフォルダの `*M01.XML` の `CreationDate` と一致することを確認済み（ユーザー判断、2026-10-12） |
| コピー済み DB の既定値 | `~/.local/state/unifydrive2nas/copied.sqlite3`。`--database` で変更できる |
| 実行時刻 | **毎日 04:00（Asia/Tokyo）**。Dagu の `DAGU_TZ=Asia/Tokyo` を前提に `schedule: "0 4 * * *"` とする（ユーザー判断、2026-10-12） |
| NAS 上の配置先 | `/volume1/homes/kazu634/bin/unifydrive2nas/`。`unifydrive2nas.py` と `vendor/` を置き、`tests/` は配置しない。DB は既定の `~/.local/state/unifydrive2nas/copied.sqlite3` を使う（ユーザー判断、2026-10-12） |
| DAG の正本 | このリポジトリの `deploy/dagu/unifydrive2nas.yaml`。Dagu VM（`192.168.10.156`）の `/var/lib/dagu/dags/` へ手で配置し、Dagu 用リポジトリができたら移す（ユーザー判断、2026-10-12） |
| リポジトリ | Gitea の非公開リポジトリ `kazu634/UnifyDrive2NAS`。リポジトリの作成はユーザーが行う（ユーザー判断、2026-10-12） |
| 本番開始 | 配置した日に `--init` を 1 回だけ実行し、翌朝 04:00 から定期実行を始める（ユーザー判断、2026-10-12） |
## 要件
@@ -67,6 +72,8 @@ status: コピーコア実装済み
| `unifydrive2nas.py` | ファイル列挙、日時判定、コピー、SQLite 記録、安全装置を持つ CLI |
| `vendor/exifread/` | `exifread` 3.5.1 と BSD-2-Clause ライセンス |
| `tests/test_unifydrive2nas.py` | 最小の画像・動画バイト列を生成して実行する標準ライブラリ `unittest` |
| `tests/test_deployment.py` | DAG と PROJECT.md の配置契約を確認する静的テスト |
| `deploy/dagu/unifydrive2nas.yaml` | Dagu VM へ手動配置する DAG の正本 |
SQLite の `copied_files` は、コピー元からの相対パス・サイズ・更新日時（nanosecond）を複合主キーとする。コピー先、日付の出どころ、処理種別、処理日時も記録する。
@@ -81,7 +88,7 @@ SQLite の `copied_files` は、コピー元からの相対パス・サイズ・
| `--database` | `~/.local/state/unifydrive2nas/copied.sqlite3` |
> [!warning] 初回運用
> 本番開始の前日に `python3 unifydrive2nas.py --init` を 1 回実行する。`--init` は現在の対象を DB に登録するだけで、コピーしない。事前確認には `--dry-run` を付ける。
> 配置した日に `python3 unifydrive2nas.py --init` を 1 回実行する。`--init` は現在の対象を DB に登録するだけで、コピーしない。事前確認には `--dry-run` を付け、初期化が成功する前に DAG を手動実行しない。
通常実行とドライランの例:
@@ -90,6 +97,67 @@ python3 unifydrive2nas.py
python3 unifydrive2nas.py --dry-run
```
### 配置手順
ローカルから NAS へ直接接続する鍵は無いため、踏み台、Dagu VM、NAS の順に SSH を中継する。以下はリポジトリのルートで実行する。
1. `unifydrive2nas.py` と `vendor/` だけを NAS へ配置する。`tests/` は転送対象に含めない。
```bash
COPYFILE_DISABLE=1 tar --no-xattrs -cf - --exclude='__pycache__' unifydrive2nas.py vendor \
| ssh bastion 'ssh -p 10022 kazu634@192.168.10.156 "ssh -i ~/.ssh/id_ed25519_nas kazu634@192.168.10.201 \"mkdir -p /volume1/homes/kazu634/bin/unifydrive2nas && tar -C /volume1/homes/kazu634/bin/unifydrive2nas -xf -\""'
```
2. NAS 上のスクリプトをドライランし、対象と失敗件数を確認する。
```bash
ssh bastion 'ssh -p 10022 kazu634@192.168.10.156 "ssh -i ~/.ssh/id_ed25519_nas kazu634@192.168.10.201 \"python3 /volume1/homes/kazu634/bin/unifydrive2nas/unifydrive2nas.py --dry-run\""'
```
3. ドライランに問題が無ければ、配置した日に NAS 上で初期化を 1 回だけ実行する。
```bash
ssh bastion 'ssh -p 10022 kazu634@192.168.10.156 "ssh -i ~/.ssh/id_ed25519_nas kazu634@192.168.10.201 \"python3 /volume1/homes/kazu634/bin/unifydrive2nas/unifydrive2nas.py --init\""'
```
4. DAG の正本を、スケジュール対象外の Dagu VM `/tmp` へ一時配置する。
```bash
COPYFILE_DISABLE=1 tar --no-xattrs -cf - -C deploy/dagu unifydrive2nas.yaml \
| ssh bastion 'ssh -p 10022 kazu634@192.168.10.156 "tar -C /tmp -xf -"'
```
5. `/tmp` の YAML を検証する。
```bash
ssh bastion 'ssh -p 10022 kazu634@192.168.10.156 "DAGU_HOME=/var/lib/dagu /usr/local/bin/dagu validate /tmp/unifydrive2nas.yaml"'
```
6. `dagu dry` で変数展開後のコマンドを確認する。この操作は実際の SSH コマンドを実行しない。
```bash
ssh bastion 'ssh -p 10022 kazu634@192.168.10.156 "DAGU_HOME=/var/lib/dagu /usr/local/bin/dagu dry /tmp/unifydrive2nas.yaml"'
```
7. 初期化成功後に `/tmp` の YAML を手動実行し、接続と終了コードを確認する。初期化直後なのでコピーは 0 件となる想定。終了コード 1 または 2 は `ssh.run` の失敗となり、Dagu の失敗通知に委ねる。
```bash
ssh bastion 'ssh -p 10022 kazu634@192.168.10.156 "DAGU_HOME=/var/lib/dagu /usr/local/bin/dagu start /tmp/unifydrive2nas.yaml"'
```
8. 手動実行まで成功してから、DAG を `/var/lib/dagu/dags/` へ配置してスケジュールを有効にする。一時ファイルも削除する。
```bash
COPYFILE_DISABLE=1 tar --no-xattrs -cf - -C deploy/dagu unifydrive2nas.yaml \
| ssh bastion 'ssh -p 10022 kazu634@192.168.10.156 "tar -C /var/lib/dagu/dags -xf - && rm -f /tmp/unifydrive2nas.yaml"'
```
> [!danger] 対話シェルでは `DAGU_HOME` を必ず付ける
> Dagu サービスは root だけが読める `/etc/dagu/dagu.env` から `DAGU_HOME=/var/lib/dagu` を受け取るが、`kazu634` の対話シェルには継承されない。付けずに `dagu validate` / `dagu dry` / `dagu start` を実行すると `~/.config/dagu` が作られ、サービスとは別の設定・実行履歴を使ってしまう。
> [!note] スケジュールと二重起動
> Dagu VM は OS と Dagu の両方が `Asia/Tokyo` に設定済みで、`0 4 * * *` は JST 04:00 として解釈される。DAG 全体の上限は 7,200 秒。`overlap_policy: skip` は catchup の重複を抑え、通常の二重起動はスクリプト側の `fcntl.flock` が最終的に防ぐ。
## 外部とのつながり
| 相手 | アドレス | 用途 | 根拠 |
@@ -269,7 +337,8 @@ python3 unifydrive2nas.py --dry-run
## 課題
- NAS への配置と Dagu の DAG 定義を行う
- NAS と Dagu VM へ配置し、`--init` と DAG の検証・手動実行を行う
- Gitea に非公開リポジトリ `kazu634/UnifyDrive2NAS` を作成する
- マウントが NAS 再起動後に自動復旧するか確認する（[[#未決事項]]）
## 経緯
@@ -280,6 +349,7 @@ python3 unifydrive2nas.py --dry-run
- 2026-10-12: Dagu → NAS の SSH 鍵を登録。NAS 上の純 Python で撮影日時が取れることを確認
- 2026-10-12: Python のコピーコア、SQLite のコピー済み一覧、安全装置、単体テストを実装
- 2026-10-12: Apple 作成日時の読み取りを、version/flags の無い QuickTime 形式と FullBox 形式の両方の `meta` に対応
- 2026-10-12: 毎日 04:00 に NAS 上のコピー処理を呼ぶ Dagu DAG と手動配置手順を作成
## 確かめ方
@@ -289,15 +359,31 @@ python3 unifydrive2nas.py --dry-run
python3 -m unittest discover -s tests -v
```
DAG と配置手順の静的契約テスト:
```bash
python3 -m unittest tests.test_deployment -v
```
CLI と引数の確認:
```bash
python3 unifydrive2nas.py --help
```
NAS では配置先で同じ単体テストを実行した後、実マウントを使うドライランで対象と日付の出どころを確認する。
NAS の本番配置には `tests/` を置かない。NAS で単体テストを再実行するときは、`unifydrive2nas.py`・`vendor/`・`tests/` を `/tmp/unifydrive2nas-test` へ一時展開して実行し、終了後に削除する。その後、本番配置したスクリプトのドライランで対象と日付の出どころを確認する。
```bash
python3 -m unittest discover -s tests -v
python3 unifydrive2nas.py --dry-run
COPYFILE_DISABLE=1 tar --no-xattrs -cf - --exclude='__pycache__' unifydrive2nas.py vendor tests \
| ssh bastion 'ssh -p 10022 kazu634@192.168.10.156 "ssh -i ~/.ssh/id_ed25519_nas kazu634@192.168.10.201 \"rm -rf /tmp/unifydrive2nas-test && mkdir -p /tmp/unifydrive2nas-test && tar -C /tmp/unifydrive2nas-test -xf -\""'
ssh bastion 'ssh -p 10022 kazu634@192.168.10.156 "ssh -i ~/.ssh/id_ed25519_nas kazu634@192.168.10.201 \"cd /tmp/unifydrive2nas-test && python3 -W error::ResourceWarning -m unittest discover -s tests -v\""'
ssh bastion 'ssh -p 10022 kazu634@192.168.10.156 "ssh -i ~/.ssh/id_ed25519_nas kazu634@192.168.10.201 \"rm -rf /tmp/unifydrive2nas-test\""'
ssh bastion 'ssh -p 10022 kazu634@192.168.10.156 "ssh -i ~/.ssh/id_ed25519_nas kazu634@192.168.10.201 \"python3 /volume1/homes/kazu634/bin/unifydrive2nas/unifydrive2nas.py --dry-run\""'
```
Dagu VM では、スケジュールを有効にする前に `/tmp` の YAML を Dagu 2.13.0 の validator と dry-run で確認する。
```bash
DAGU_HOME=/var/lib/dagu /usr/local/bin/dagu validate /tmp/unifydrive2nas.yaml
DAGU_HOME=/var/lib/dagu /usr/local/bin/dagu dry /tmp/unifydrive2nas.yaml
```