docs: update sysadmin/backup/rclone/rclone-backup

main
Федоров Дмитрий 2023-11-15 16:02:48 +00:00 committed by Dmitriy Fedorov
parent abe6541a40
commit 48093bc2b7
1 changed files with 26 additions and 33 deletions

View File

@ -2,7 +2,7 @@
title: rclone-backup title: rclone-backup
description: description:
published: true published: true
date: 2023-11-15T16:00:26.198Z date: 2023-11-15T16:02:43.782Z
tags: tags:
editor: ckeditor editor: ckeditor
dateCreated: 2023-11-15T15:58:15.041Z dateCreated: 2023-11-15T15:58:15.041Z
@ -11,7 +11,8 @@ dateCreated: 2023-11-15T15:58:15.041Z
<p>&nbsp;</p> <p>&nbsp;</p>
<p>Постоянно пользуюсь утилитой rclone для загрузки данных в S3 хранилище. Вспомнил, что ни разу не писал про неё отдельно. Решил исправить. Думаю, многие знают про неё, так как программа старая, удобная, популярная. Она есть под все известные ОС: Windows, macOS, Linux, FreeBSD, NetBSD, OpenBSD, Plan9, Solaris.</p> <p>Постоянно пользуюсь утилитой rclone для загрузки данных в S3 хранилище. Вспомнил, что ни разу не писал про неё отдельно. Решил исправить. Думаю, многие знают про неё, так как программа старая, удобная, популярная. Она есть под все известные ОС: Windows, macOS, Linux, FreeBSD, NetBSD, OpenBSD, Plan9, Solaris.</p>
<p>Я использую её исключительно в консоли Linux. Она есть в базовых репозиториях, так что ставится стандартно:</p> <p>Я использую её исключительно в консоли Linux. Она есть в базовых репозиториях, так что ставится стандартно:</p>
<p><code>apt install rclone dnf install rclone</code></p> <p><code>apt install rclone&nbsp;</code></p>
<p><code>dnf install rclone</code></p>
<p><br>Самую свежую версию можно поставить вот так:</p> <p><br>Самую свежую версию можно поставить вот так:</p>
<p><code>curl https://rclone.org/install.sh | bash</code></p> <p><code>curl https://rclone.org/install.sh | bash</code></p>
<p>Далее рисуем простой конфиг в файле ~/.config/rclone/rclone.conf:</p> <p>Далее рисуем простой конфиг в файле ~/.config/rclone/rclone.conf:</p>
@ -25,18 +26,10 @@ auth_version = 3
endpoint_type = public</code></pre> endpoint_type = public</code></pre>
<p><br>Это пример для S3 хранилища от Selectel (<a href="https://selectel.ru/services/cloud/storage/?ref_code=5596463bb7">https://selectel.ru/services/cloud/storage/?ref_code=5596463bb7</a>). Все учётные данные получите в ЛК. Я давно им пользуюсь. Когда выбирал, он был самым дешёвым. Сейчас не знаю как, не сравнивал. Для объёмов до 100 Гб там цены небольшие. За этот объём заплатите рублей 300 примерно (стандартное хранилище, холодное ещё дешевле), так что не критично. Рекомендую дублировать бэкапы сайтов, магазинов в S3. У меня это всегда второе, холодное хранилище, куда уезжают полные архивы с определённой периодичностью.</p> <p><br>Это пример для S3 хранилища от Selectel (<a href="https://selectel.ru/services/cloud/storage/?ref_code=5596463bb7">https://selectel.ru/services/cloud/storage/?ref_code=5596463bb7</a>). Все учётные данные получите в ЛК. Я давно им пользуюсь. Когда выбирал, он был самым дешёвым. Сейчас не знаю как, не сравнивал. Для объёмов до 100 Гб там цены небольшие. За этот объём заплатите рублей 300 примерно (стандартное хранилище, холодное ещё дешевле), так что не критично. Рекомендую дублировать бэкапы сайтов, магазинов в S3. У меня это всегда второе, холодное хранилище, куда уезжают полные архивы с определённой периодичностью.</p>
<p>Бэкап директории /mnt/backup/day делается следующим образом:</p> <p>Бэкап директории /mnt/backup/day делается следующим образом:</p>
<figure class="table" style="width:727px;"> <p><code>/usr/bin/rclone copy /mnt/backup/day selectel:websrv-day</code></p>
<table style="background-color:rgb(240, 240, 240);border-bottom:1px solid rgb(221, 221, 221);border-left:1px solid rgb(221, 221, 221);border-right:1px solid rgb(221, 221, 221);border-top:1px solid rgb(221, 221, 221);">
<tbody>
<tr>
<td style="background-color:rgb(255, 255, 255);border-bottom:1px solid rgb(221, 221, 221);border-left:1px solid rgb(221, 221, 221);border-right:1px solid rgb(221, 221, 221);border-top:1px solid rgb(221, 221, 221);padding:10px;">/usr/bin/rclone copy /mnt/backup/day selectel:websrv-day</td>
</tr>
</tbody>
</table>
</figure>
<p>Я обычно делаю 3 контейнера: day, week, month с настройкой хранения копий 7, 30 дней и бессрочно. Контейнер с месячными архивами чищу вручную время от времени, либо вообще не чищу. А первые два очищаются самостоятельно в соответствии со своими настройками. Следить самому за этим не надо. Если у вас это будет единственное хранилище, то очистку лучше настроить не по времени, а по количеству файлов в контейнере. Иначе если не уследите за бэкапами и они по какой-то причине не будут выполняться, через какое-то время все старые будут удалены, а новые не приедут.</p> <p>Я обычно делаю 3 контейнера: day, week, month с настройкой хранения копий 7, 30 дней и бессрочно. Контейнер с месячными архивами чищу вручную время от времени, либо вообще не чищу. А первые два очищаются самостоятельно в соответствии со своими настройками. Следить самому за этим не надо. Если у вас это будет единственное хранилище, то очистку лучше настроить не по времени, а по количеству файлов в контейнере. Иначе если не уследите за бэкапами и они по какой-то причине не будут выполняться, через какое-то время все старые будут удалены, а новые не приедут.</p>
<p>В S3 от Selectel данные заходят очень быстро. Скорость до Гигабита в секунду. Скачивать редко приходится, так что не знаю, какая там реальная скорость, но проблем никогда не было. Думаю тоже что-то в районе гигабита, обычно сам интернет медленнее, куда грузить будете. Можно через панель управления зайти и открыть веб доступ к какому-нибудь файлу, сделать одноразовую ссылку. Также доступ к файлам есть через личный кабинет напрямую в браузере, либо по FTP. Я для визуального контроля и загрузки файлов обычно по FTP захожу.</p> <p>В S3 от Selectel данные заходят очень быстро. Скорость до Гигабита в секунду. Скачивать редко приходится, так что не знаю, какая там реальная скорость, но проблем никогда не было. Думаю тоже что-то в районе гигабита, обычно сам интернет медленнее, куда грузить будете. Можно через панель управления зайти и открыть веб доступ к какому-нибудь файлу, сделать одноразовую ссылку. Также доступ к файлам есть через личный кабинет напрямую в браузере, либо по FTP. Я для визуального контроля и загрузки файлов обычно по FTP захожу.</p>
<p>Сайт - <a href="https://rclone.org/">https://rclone.org</a></p> <p>Сайт - <a href="https://rclone.org/">https://rclone.org</a></p>
<p>&nbsp;</p> <p>&nbsp;</p>
<figure class="image"><img src="https://prodik.ddns.net:9090/download/attachments/1769621/image2022-8-11_9-31-19.png?version=1&amp;modificationDate=1660210279258&amp;api=v2"></figure> <figure class="image"><img src="/attachments/image2022-8-11_9-31-19.png"></figure>
<p>&nbsp;</p> <p>&nbsp;</p>