4 changed files with 0 additions and 440 deletions
--- a/DevOps/ELK/EFK-rotate.md
+++ b/DevOps/ELK/EFK-rotate.md
@ -1,49 +0,0 @@
---
-title: EFK - ротация логов fluent-bit
-description: 
-published: true
-date: 2025-03-13T16:02:22.898Z
-tags: elk, efk, fluent-bit, rotate
-editor: markdown
-dateCreated: 2025-03-13T16:02:22.898Z
---
-
-# Ротация логов fluent-bit
-Не получилось сделать ротацию логов, если индекс имеет текущую дату, получилось с помощью порядокового номера
-
-> Нужно в конфиге флюента в разделе [OUTPUT] сделать такие параметры:
-Logstash_Format     Off
-Index               smvu2-test-stand-docker		
-
-## Запросы в EFK:
-После запуска контейнера лог уже отправляется в EFK и создается индекс, поэтому нужно сначала его удалить
-```json
-DELETE /smvu2-test-stand-docker
-```
-Создаем шаблон
-```json
-PUT _index_template/smvu2-test-stand-docker-template
-{
-  "index_patterns": [
-    "smvu2-test-stand-docker-*"
-  ],
-  "composed_of": ["smvu2-common-settings"],
-  "template": {
-    "settings": {
-      "index.lifecycle.name": "smvu2-policy",
-      "index.lifecycle.rollover_alias": "smvu2-test-stand-docker"
-    }
-  }
-}
-```
-Ну и создаем индекс с алиасом, куда будет прилетать лог
-```json
-PUT smvu2-test-stand-docker-000001
-{
-  "aliases": {
-    "smvu2-test-stand-docker": {
-      "is_write_index": true
-    }
-  }
-}
-```
--- a/DevOps/ELK/Rotation-logs-ILM.md
+++ b/DevOps/ELK/Rotation-logs-ILM.md
@ -1,146 +0,0 @@
---
-title: Ротация логов с помощью Lificycle
-description: ILM
-published: true
-date: 2025-03-13T08:16:59.504Z
-tags: ilm, elk, efk
-editor: markdown
-dateCreated: 2025-03-13T08:16:59.504Z
---
-
-# Ротация логов в ELK
-Конечно! Давайте разберем настройку ротации логов с помощью ILM (Index Lifecycle Management) в Elasticsearch простым языком. Это пошаговая инструкция, которая поможет вам настроить автоматическое управление жизненным циклом индексов (логов).
-
---
-
-### **1. Что такое ротация логов с ILM?**
-Ротация логов — это процесс автоматического создания новых индексов (например, когда текущий индекс становится слишком большим или старым) и удаления старых индексов, чтобы освободить место. ILM помогает автоматизировать этот процесс.
-
---
-
-### **2. Основные шаги настройки ILM для ротации логов:**
-
-#### **Шаг 1: Создайте алиас для индексов**
-Алиас — это "псевдоним", который будет указывать на текущий активный индекс. Все новые данные будут писаться в индекс, на который указывает этот алиас.
-
-Пример:
-```bash
-PUT _aliases
-{
-  "actions": [
-    {
-      "add": {
-        "index": "logs-2023.10.01-000001",  # текущий индекс
-        "alias": "logs-alias"                # алиас
-      }
-    }
-  ]
-}
-```
-
---
-
-#### **Шаг 2: Создайте политику ILM**
-Политика ILM определяет, что делать с индексами на разных этапах их жизни (например, когда переходить на новый индекс, когда удалять старые данные).
-
-Пример политики:
-```bash
-PUT _ilm/policy/logs-policy
-{
-  "policy": {
-    "phases": {
-      "hot": {                               # этап "горячих" данных
-        "actions": {
-          "rollover": {                       # ротация индекса
-            "max_size": "50gb",               # ротация при достижении 50 ГБ
-            "max_age": "7d"                   # или через 7 дней
-          }
-        }
-      },
-      "delete": {                             # этап удаления
-        "min_age": "30d",                     # удалить через 30 дней
-        "actions": {
-          "delete": {}                        # действие — удалить индекс
-        }
-      }
-    }
-  }
-}
-```
-
---
-
-#### **Шаг 3: Создайте шаблон индекса**
-Шаблон индекса автоматически применяет настройки (например, политику ILM и алиас) к новым индексам, которые соответствуют определенному шаблону имени.
-
-Пример шаблона:
-```bash
-PUT _index_template/logs-template
-{
-  "index_patterns": ["logs-*"],              # шаблон имени индекса
-  "template": {
-    "settings": {
-      "index.lifecycle.name": "logs-policy", # применяем политику ILM
-      "index.lifecycle.rollover_alias": "logs-alias"  # указываем алиас
-    }
-  }
-}
-```
-
---
-
-#### **Шаг 4: Создайте начальный индекс**
-Создайте первый индекс, который будет использоваться для записи данных. Убедитесь, что он соответствует шаблону и имеет алиас.
-
-Пример:
-```bash
-PUT logs-2023.10.01-000001
-{
-  "aliases": {
-    "logs-alias": {}                        # назначаем алиас
-  }
-}
-```
-
---
-
-#### **Шаг 5: Настройте сбор логов**
-Убедитесь, что ваши логи (например, из Filebeat, Logstash или другого источника) пишутся в алиас `logs-alias`. Это гарантирует, что данные будут попадать в текущий активный индекс.
-
---
-
-#### **Шаг 6: Проверка работы ILM**
- Когда текущий индекс достигнет 50 ГБ или пройдет 7 дней, ILM создаст новый индекс (например, `logs-2023.10.08-000002`) и перенаправит запись на него.
- Старые индексы будут автоматически удаляться через 30 дней.
-
---
-
-### **3. Как проверить, что все работает?**
- Проверьте статус ILM:
-  ```bash
-  GET _ilm/status
-  ```
- Посмотрите информацию по конкретному индексу:
-  ```bash
-  GET logs-2023.10.01-000001/_ilm/explain
-  ```
- Убедитесь, что новые индексы создаются, а старые удаляются.
-
---
-
-### **4. Пример полного цикла:**
-1. Создаете алиас `logs-alias` и первый индекс `logs-2023.10.01-000001`.
-2. Данные начинают писаться в `logs-2023.10.01-000001`.
-3. Через 7 дней или при достижении 50 ГБ создается новый индекс `logs-2023.10.08-000002`, и данные начинают писаться туда.
-4. Через 30 дней индекс `logs-2023.10.01-000001` автоматически удаляется.
-
---
-
-### **5. Частые ошибки:**
- **Алиас не указан:** Убедитесь, что алиас указан в шаблоне индекса и в самом индексе.
- **Политика не применяется:** Проверьте, что политика ILM указана в шаблоне индекса.
- **Нет данных для ротации:** Убедитесь, что данные пишутся в алиас.
-
---
-
-Если все настроено правильно, ILM будет автоматически управлять вашими индексами, и вам не придется вручную заниматься ротацией логов. 😊
--- a/DevOps/Gitlab/Minimal-install.md
+++ b/DevOps/Gitlab/Minimal-install.md
@ -1,103 +0,0 @@
---
-title: Gitlab minimal install
-description: 
-published: true
-date: 2025-03-25T18:40:52.824Z
-tags: gitlab
-editor: markdown
-dateCreated: 2025-03-25T18:39:58.350Z
---
-
-Популярный open source продукт, который можно развернуть на своём оборудовании, Gitlab требует для своей работы приличное количество ресурсов. Для того, чтобы он в установке по умолчанию работал бодрячком лучше всего начать с 4 CPU и 8 GB оперативной памяти. Можно выделить 4 GB, но будет заметно тормозить, иногда 500-е ошибки выдавать. 
-
-Для того, чтобы иметь возможность использовать Gitlab для единоличного использования, либо очень небольшого коллектива, многие из стандартных компонентов и настроек программного комплекса можно безболезненно отключить. В документации есть отдельная статья на этот счёт:
-
-⇨ Running GitLab in a memory-constrained environment (https://docs.gitlab.com/omnibus/settings/memory_constrained_envs.html) (Запуск GitLab в среде с ограниченным объемом памяти)
-
-Следуя этим рекомендация, можно заставить работать систему с использованием всего 2 GB оперативной памяти. Если вы запускаете его для себя на арендованном железе, то можно получить существенную экономию ресурсов. 
-
-Я взял виртуальную машину с 1 CPU и 2 GB памяти и попробовал на ней запустить Gitlab. Что для этого нужно сделать?
-
-1️⃣ Подключаем 1 GB свопа.
-
-```
-# dd if=/dev/zero of=/swap bs=1024 count=1000000
-# mkswap /swap
-# chmod 0600 /swap
-# swapon /swap
-```
-
-Добавляем в /etc/fstab:
-`/swap swap swap defaults 0 0`
-
-2️⃣ Меняем параметр swappiness:
-
-`# sysctl vm.swappiness=10`
-
-Добавляем в /etc/sysctl.conf:
-
-`vm.swappiness=10`
-
-3️⃣ Устанавливаем Gitlab.
-```
-# curl https://packages.gitlab.com/install/repositories/gitlab/gitlab-ce/script.deb.sh | bash
-# EXTERNAL_URL="http://10.20.1.36" apt-get install gitlab-ce
-````
-
-4️⃣ Отключаем службу puma, которая помогает обрабатывает конкурентные запросы. Без большой нагрузки можно обойтись без неё. В /etc/gitlab/gitlab.rb добавляем:
-
-`puma['worker_processes'] = 0`
-
-5️⃣ Уменьшаем число фоновых процессов Sidekiq:
-
-`sidekiq['concurrency'] = 10`
-
-6️⃣ Оптимизируем Gitaly. Туда же в конфиг добавляем:
-```json
-gitaly['configuration'] = {
-  concurrency: [
-   {
-    'rpc' => "/gitaly.SmartHTTPService/PostReceivePack",
-    'max_per_repo' => 3,
-   }, {
-    'rpc' => "/gitaly.SSHService/SSHUploadPack",
-    'max_per_repo' => 3,
-   },
-  ],
-}
-
-gitaly['env'] = {
- 'GITALY_COMMAND_SPAWN_MAX_PARALLEL' => '2'
-}
-```
-
-❗️Обращаю ваше внимание, что я убрал из этого раздела настройки, касающиеся cgroups. В инструкции судя по всему какая-то ошибка. Если их оставить, то сокет gitaly не поднимается. А в интерфейсе при создании каких-либо сущностей, например, нового проекта, вылетает 502 ошибка. И это не зависит от выделенных ресурсов.
-
-7️⃣ Отключаем мониторинг:
-
-`prometheus_monitoring['enable'] = false`
-
-8️⃣ Уменьшаем потребление памяти процессам GitLab:
-```
-gitlab_rails['env'] = {
- 'MALLOC_CONF' => 'dirty_decay_ms:1000,muzzy_decay_ms:1000'
-}
-
-gitaly['env'] = {
- 'MALLOC_CONF' => 'dirty_decay_ms:1000,muzzy_decay_ms:1000'
-}
-```
-
-9️⃣ Перезапускаем Gitlab:
-
-`# gitlab-ctl reconfigure`
-
-🔟 Идём в веб интерфейс и отключаем в настройках мониторинга метрики Prometheus: Admin Area ⇨ Settings ⇨ Metrics and profiling ⇨ Metrics - Prometheus ⇨ отключаем Enable Prometheus Metrics.
-
-После перезапуска Gitlab будет очень долго подниматься. Но в итоге заработает. Смотрим потребление памяти и проверяем, как всё работает:
-
-`# free -h`
-
-Более подробно всё это описано по ссылке в статье из начала заметки. Для комфортной работы лучше всё же добавить до 2CPU и 3GB памяти. Тогда всё это будет бодро работать с предложенными параметрами. Если этого не сделать, то иногда будете видеть 500-е ошибки.
-
-❗️Если заметка вам полезна, не забудьте 👍 и забрать в закладки.
--- a/NAS/scrutiny.html
+++ b/NAS/scrutiny.html
@ -1,142 +0,0 @@
-<!--
-title: Просмотр атрибутов SMART в DSM 7.2.1 и новее
-description: scrutiny
-published: true
-date: 2025-03-12T10:21:29.816Z
-tags: scrutiny, smart
-editor: ckeditor
-dateCreated: 2025-03-12T10:21:29.816Z
-->
-
-<p>Источник: https://bafista.ru/prosmotr-atributov-smart-v-dsm-7-2-1-i-novee/</p>
-<h2><strong>Введение</strong></h2>
-<p>В самой лучшей на данный момент ОС DSM для NAS от компании Synology было все необходимое для работы с дисками. Но 26.09.2023 вышло <a href="https://www.synology.com/ru-ru/releaseNote/DSM"><u>обновление DSM 7.2.1</u></a> и вместе с ним обновление для <a href="https://www.synology.com/ru-ru/releaseNote/StorageManager"><u>диспетчера хранения</u></a> 1.0.0-0017. В этом обновлении произошло невероятное: <i><strong>Атрибуты S.M.A.R.T. больше не записываются и не отображаются.</strong></i></p>
-<p>При проверке опасения подтвердились. Кнопка просмотров атрибутов SMART пропала со своего места и теперь ее нигде нет. Очень печальная ситуация.</p>
-<p><a href="https://github.com/AnalogJ/scrutiny"><u>Scrutiny&nbsp;</u></a>– это инструмент, который собирает данные SMART с жесткого диска и отображает их через веб-интерфейс. Дополнительно ведется логирование полученных данных и есть возможность настроить уведомления.</p>
-<figure class="image image_resized" style="width:47.66%;"><img src="https://bafista.ru/wp-content/uploads/2023/09/scr-20230930-iwuw.png"></figure>
-<p>&nbsp;</p>
-<figure class="image image_resized" style="width:47.81%;"><img src="https://bafista.ru/wp-content/uploads/2023/09/scr-20230930-jdtv.png"></figure>
-<h2><strong>Установка Scrutiny</strong></h2>
-<p>Для установки нам понадобится Container Manager. Поэтому перед началом найдите его в центре пакетов и установите. Если в центре пакетов его нет, значит ваше устройство его не поддерживает и дальше вам можно не читать данную инструкцию.</p>
-<p>Откройте File station и перейдите в папку docker. В этой папке создайте пустой каталог с именем <strong>scrutiny</strong>, а внутри еще один пустой с именем <strong>influxdb</strong> как показано на картинке ниже.</p>
-<figure class="image image_resized" style="width:46.87%;"><img src="https://bafista.ru/wp-content/uploads/2023/09/image-180-1024x594.png"></figure>
-<p>Так тут же нужно создать файл <strong>collector.yaml</strong> следующего содержимого:</p>
-<pre><code class="language-plaintext">version: 1
-host:
-  id: "NAS"
-devices:
-  - device: /dev/sata1
-    type: 'sat'
-#  - device: /dev/sata2
-#    type: 'sat'
-#  - device: /dev/sata3
-#    type: 'sat'
-  - device: /dev/nvme0n1
-    type: 'nvme'
-#  - device: /dev/nvme1n1
-#    type: 'nvme'</code></pre>
-<p>Разберем что в этом файле и зачем.</p>
-<ul>
-  <li>ИмяСервера – замените на ваше, желательно латинскими буквами</li>
-  <li>sata1 sata2 sata3 – это все ваши диски. Укажите тут точное количество ваших дисков в Synology и где они установлены. Номер 1 2 и 3 совпадает с номеров диска в слотах устройства. В некоторых случаях вместо sata1 sata2 sata3 и т.д. нужно указывать sda sdb sdc и т.д.</li>
-  <li>nvme0m1 и nvme1n1 – это ssd диски установленные в M2 слоты, если у вас их нет, то просто удалите их.</li>
-</ul>
-<blockquote>
-  <p><i>Так же можно добавить диски подключенные по USB, подробнее в комментарии по </i><a href="https://bafista.ru/prosmotr-atributov-smart-v-dsm-7-2-1-i-novee/#comment-2692"><i><u>ссылке</u></i></a></p>
-</blockquote>
-<p>Теперь открываем Container Manager, переходим в проекты и нажимаем создать проект. В открывшемся окне придумываем имя, задаем путь, который мы ранее создали и выбираем создать docker-compose.yml как показано на картинке ниже.</p>
-<figure class="image"><img src="https://bafista.ru/wp-content/uploads/2023/09/image-181-1024x617.png"></figure>
-<p>В тактовое поле вставляем такой текст заранее его подредактировав:</p>
-<pre><code class="language-plaintext">services:
-  scrutiny:
-    container_name: scrutiny
-    image: ghcr.io/analogj/scrutiny:master-omnibus
-    cap_add:
-      - SYS_RAWIO
-      - SYS_ADMIN
-    ports:
-      - "8095:8080" # webapp
-      - "8096:8086" # influxDB admin
-    volumes:
-      - /run/udev:/run/udev:ro
-      - ./:/opt/scrutiny/config
-      - ./influxdb:/opt/scrutiny/influxdb
-      - ./scrutiny.yaml:/opt/scrutiny/config/scrutiny.yaml
-    devices:
-      - /dev/sata1:/dev/sata1
-      # - /dev/sata2:/dev/sata2
-      # - /dev/sata3:/dev/sata3
-      - /dev/nvme0n1:/dev/nvme0n1
-      # - /dev/nvme1n1:/dev/nvme1n1
-    environment:
-      - COLLECTOR_CRON_SCHEDULE='*/5 * * * *'
-      - SCRUTINY_WEB_INFLUXDB_TOKEN=ANYLONGSTRING
-      - SCRUTINY_WEB_INFLUXDB_INIT_USERNAME=sadmin
-      - SCRUTINY_WEB_INFLUXDB_INIT_PASSWORD=6lise-shorter-Direct0
-      - TZ=Europe/Moscow
-    restart: unless-stopped</code></pre>
-<p>Разберем что в этом файле и зачем.</p>
-<ul>
-  <li>Порт 8095 – это порт для web интерфейса scrutiny. Порт 8096 для web интерфейса influxDB. Порты после двоеточия 8080 и 8086 менять нельзя.</li>
-  <li>sata1 sata2 sata3 – это все ваши диски. Укажите тут точное количество ваших дисков в Synology и где они установлены. Номер 1 2 и 3 совпадает с номеров диска в слотах устройства. В некоторых случаях вместо sata1 sata2 sata3 и т.д. нужно указывать sda sdb sdc и т.д.</li>
-  <li>nvme0m1 и nvme1n1 – это ssd диски установленные в M2 слоты, если у вас их нет, то просто удалите их.</li>
-  <li>Токен, логин и пароль устанавливайте на свое усмотрение, но не менее 8 символов иначе не будет работать.</li>
-</ul>
-<p>По умолчанию сбор данных в scrutiny выполняется раз в сутки и этого вполне достаточно почти всегда, но это можно переопределить вставив такую переменную:</p>
-<blockquote>
-  <p><i>Спешу напомнить, что если вы хотите переопределить частоту запуска коллектора, то нужно заново создавать проект с контейнером.</i></p>
-  <p style="text-align:center;"><i>!!! Не делайте часто, это не есть хорошо !!!</i></p>
-</blockquote>
-<pre><code class="language-plaintext">- COLLECTOR_CRON_SCHEDULE='*/1 * * * *'</code></pre>
-<p>Где:</p>
-<ul>
-  <li>‘*/1 * * * *’ – запуск коллектора каждую минуту</li>
-  <li>‘*/5 * * * *’ – запуск коллектора каждые 5 минут</li>
-  <li>‘*/10 * * * *’ – запуск коллектора каждые 10 минут</li>
-  <li>‘0 * * * *’ – запуск коллектора каждый час</li>
-</ul>
-<p>Далее нигде ничего менять не нужно, просто на заключительном этапе жмите выполнено для создания и запуска проекта scrutiny</p>
-<figure class="image"><img src="https://bafista.ru/wp-content/uploads/2023/09/image-182-1024x554.png"></figure>
-<p>Процесс этот весьма небыстрый. Будет скачен образ контейнера docker, затем распакован и создан сам контейнер. Если все сделано правильно, то увидите Exit Code 0, что означает успешное создание проекта с контейнером. Если нет, то увидите в чем проблема, ее нужно будет устранить и начать заново.</p>
-<figure class="image"><img src="https://bafista.ru/wp-content/uploads/2023/09/image-183-1024x559.png"></figure>
-<p>&nbsp;</p>
-<p>Теперь в браузере открываете новую вкладку и вбиваете http://IP-NAS:8095. Естественно, что IP адрес и порт вы вставляете свои.</p>
-<blockquote>
-  <p><i>При создании проекта для него создается отдельная сеть bridge, которую нужно разрешить на фаерволе Synology, если он у вас включен</i></p>
-</blockquote>
-<figure class="image"><img src="https://bafista.ru/wp-content/uploads/2023/09/image-184-1024x674.png"></figure>
-<p>Для просмотра атрибутов SMART щелкните три точки у нужного диска и нажмите Detail</p>
-<figure class="image"><img src="https://bafista.ru/wp-content/uploads/2023/09/image-185-1024x674.png"></figure>
-<p>Тут нужно отметить, что данные обновляются раз в сутки в 6:00 утра или после старта контейнера scrunity.</p>
-<p><i>За образец была взята эта </i><a href="https://drfrankenstein.co.uk/2023/05/29/scrutiny-in-container-manager-on-a-synology-nas/"><i><u>инструкция</u></i></a><i>, но сделано по моему.</i></p>
-<p>Добавочные файлы config.yml</p>
-<pre><code class="language-plaintext">bolt-path: /opt/scrutiny/influxdb/influxd.bolt
-engine-path: /opt/scrutiny/influxdb/engine
-http-bind-address: ":8086"
-reporting-disabled: true
-</code></pre>
-<p>Уведомление через Gotify scrutiny.yml</p>
-<pre><code class="language-plaintext">version: 1
-
-web:
-  listen:
-    port: 8080
-    host: 0.0.0.0
-    basepath: ''
-  database:
-    location: /opt/scrutiny/config/scrutiny.db
-  src:
-    frontend:
-      path: /opt/scrutiny/web
-  influxdb:
-    host: 0.0.0.0
-    port: 8086
-    retention_policy: true
-log:
-  file: '' #absolute or relative paths allowed, eg. web.log
-  level: INFO
-notify:
- urls:
-#    - "telegram://token@telegram?channels=channel-1[,channel-2,...]"
-   - "gotify://prodik.ddns.net:8880/token"
-</code></pre>