diff --git a/README.md b/README.md index a57557e..d4c9cf2 100755 --- a/README.md +++ b/README.md @@ -198,6 +198,11 @@ Markdown-отчет собирает главный вывод, риски по extensions и future-направления без создания новых API или фиктивных collectors. +Модульная схема комплекса с GitHub/Gitea-viewable Mermaid-графами: +[docs/MODULE_ARCHITECTURE_GRAPH_RU.md](docs/MODULE_ARCHITECTURE_GRAPH_RU.md). +Карта orchestration entrypoints: +[docs/ORCHESTRATION_MAP_RU.md](docs/ORCHESTRATION_MAP_RU.md). + ## Если дашборд пустой Обычно это значит одно из трех: выбран слишком узкий период времени, рабочий компьютер давно не присылал события или временно не обновилась витрина в Grafana. Начните с периода `Last 24 hours`, затем переходите к техническим разделам ниже. @@ -359,6 +364,8 @@ collectors. - [Сторонние компоненты](THIRD_PARTY_COMPONENTS.md) - [Сторонние лицензии](THIRD_PARTY_LICENSES_RU.md) - [Архитектура](docs/ARCHITECTURE_RU.md) +- [Модульная схема комплекса](docs/MODULE_ARCHITECTURE_GRAPH_RU.md) +- [Карта оркестрации](docs/ORCHESTRATION_MAP_RU.md) - [Установка](docs/INSTALL_RU.md) - [Руководство администратора](docs/ADMIN_GUIDE_RU.md) - [Руководство оператора](docs/OPERATOR_GUIDE_RU.md) diff --git a/adk-rust/Cargo.lock b/adk-rust/Cargo.lock index a41e1f9..69a3a04 100644 --- a/adk-rust/Cargo.lock +++ b/adk-rust/Cargo.lock @@ -122,9 +122,9 @@ dependencies = [ [[package]] name = "anyhow" -version = "1.0.102" +version = "1.0.103" source = "registry+https://github.com/rust-lang/crates.io-index" -checksum = "7f202df86484c868dbad7eaa557ef785d5c66295e41b460ef922eca0723b842c" +checksum = "2a4385e2e34eb35d6b3efe798b9eb88096925d87726c0798709bf56d9ed84af3" [[package]] name = "arbitrary" diff --git a/ansible/README.md b/ansible/README.md index a309023..18f8213 100644 --- a/ansible/README.md +++ b/ansible/README.md @@ -7,6 +7,13 @@ - централизованное развёртывание Windows/RDP collector'ов по WinRM; - развёртывание внешнего pfSense poller'а на Debian/Ubuntu utility VM. +Актуальная карта связи playbooks, scripts, systemd timers, Windows Scheduled +Tasks и модулей комплекса ведётся в +[`docs/ORCHESTRATION_MAP_RU.md`](../docs/ORCHESTRATION_MAP_RU.md). При +добавлении или переименовании orchestration entrypoint обновляйте карту и +проверяйте её через `bash scripts/check_orchestration_map.sh` из корня +репозитория. + ## Файлы - `ansible/deploy_aw_server.yml` — основной playbook для уже существующего Debian/CT host. diff --git a/docs/MODULE_ARCHITECTURE_GRAPH_RU.md b/docs/MODULE_ARCHITECTURE_GRAPH_RU.md new file mode 100644 index 0000000..40f5237 --- /dev/null +++ b/docs/MODULE_ARCHITECTURE_GRAPH_RU.md @@ -0,0 +1,287 @@ +# AWatch-rus / DetMir: модульная схема комплекса + +Статус: операторская архитектурная карта для просмотра прямо в GitHub/Gitea. + +Документ описывает, как связаны основные модули AWatch-rus / DetMir, где +проходят данные и где администратор видит результат. Диаграммы выполнены в +Mermaid: GitHub и Gitea отображают их непосредственно на странице Markdown. + +## 1. Границы и честные утверждения + +- AWatch-rus / DetMir не заявляется как сертифицированная СЗИ, DLP, SIEM, EDR + или XDR. +- GitHub Actions и GitHub issues используются как публичная инженерная + видимость и mirror validation, а не как evidence российского release-контура. +- Основной российский контур поставки и контроля: private Gitea плюс + планируемый российский build-runner. +- Текущий production-профиль DetMir держит тяжелый DLP runtime отключенным для + снижения нагрузки на Proxmox, InfluxDB, Grafana, ClickHouse и AW server. + DLP-модуль не удален и может быть подключен отдельно после решения оператора. +- Hayabusa/Sigma и Velociraptor используются как слой findings/forensics. Они не + входят в горячий путь расчета рабочего времени и не должны запускать + блокировку рабочих станций без явного approval. + +## 2. Карта модулей верхнего уровня + +```mermaid +flowchart LR + subgraph endpoints["Рабочие места и RDP"] + RDP["RDP host
192.168.100.19
logical host SHARKON2025"] + WinCollectors["Windows collectors
window, AFK, browser, worktime"] + File1C["File1C upload task
каждые 15 минут"] + OptionalDlpEndpoint["Optional DLP endpoint sync
обычно disabled"] + end + + subgraph awserver["AW server 10.10.10.13"] + AwServer["ActivityWatch server
порт 5600"] + AwBuckets["AW buckets
SQLite datastore"] + WorktimeApi["aw-worktime-api
порт 5610"] + InfluxExporter["worktime Influx exporter"] + Healthd["aw-rus-healthd
readiness and checks"] + end + + subgraph analytics["Analytics and dashboards"] + Influx["InfluxDB
10.10.10.10:8086"] + Grafana["Grafana
10.10.10.11:3000"] + ClickHouse["ClickHouse
10.10.10.2:8123"] + Portal["DetMir portal and gateway
10.10.10.2:8720
/portal"] + end + + subgraph security["Security findings and containment"] + Hayabusa["Hayabusa / Sigma
EVTX and rule findings"] + Velociraptor["Velociraptor
offline collector or explicit server mode"] + Inbox["Security Finding Inbox
ClickHouse-backed"] + Executor["Containment executor
plan / apply / verify / rollback"] + end + + subgraph governance["Governance and delivery"] + GitHub["GitHub public mirror
PR checks and ruleset"] + Gitea["Russian Gitea
primary private contour"] + BuildRunner["Russian build-runner
planned registry evidence"] + end + + RDP --> WinCollectors + WinCollectors --> AwServer + AwServer --> AwBuckets + AwBuckets --> WorktimeApi + WorktimeApi --> Portal + WorktimeApi --> InfluxExporter + InfluxExporter --> Influx + Influx --> Grafana + Grafana --> Portal + File1C --> ClickHouse + ClickHouse --> Portal + ClickHouse --> Grafana + Healthd --> Portal + + Hayabusa --> Inbox + Velociraptor --> Inbox + OptionalDlpEndpoint -. optional .-> Inbox + Inbox --> Portal + Portal --> Executor + Executor --> Inbox + + GitHub --> Gitea + Gitea --> BuildRunner +``` + +## 3. Основные модули + +| Модуль | Где работает | Что делает | Куда пишет/отдает | +|---|---|---|---| +| Windows collectors | RDP/Windows hosts | Собирают окна, AFK, браузерные домены, рабочие сессии | ActivityWatch API | +| ActivityWatch server | `10.10.10.13:5600` | Принимает события и хранит buckets | SQLite datastore, HTTP API | +| Worktime API | `10.10.10.13:5610` | Строит отчеты рабочего времени и management-срез | Portal, Influx exporter | +| Influx exporter | AW server | Перекладывает рабочие метрики во временные ряды | InfluxDB | +| InfluxDB | `10.10.10.10:8086` | Хранит time-series для Grafana | Grafana | +| Grafana | `10.10.10.11:3000` | Показывает dashboards по активности, дисциплине и состоянию | Администратор, portal links | +| DetMir portal | `10.10.10.2:8720/portal` | Единая витрина: статус, workforce, security inbox, ссылки | Browser UI/API | +| ClickHouse File1C | `10.10.10.2:8123` | Хранит 1C/file telemetry и security findings | Portal, Grafana, manager API | +| Security Finding Inbox | ClickHouse + Rust CLI/API | Нормализует подозрительные станции и workflow | Portal, executor, audit | +| Hayabusa/Sigma | AW server / security host | Разбирает Windows EVTX и Sigma-compatible findings | Inbox | +| Velociraptor | Optional mode | Собирает endpoint forensics/artifacts | Inbox/importers | +| DLP runtime | Optional mode | Тяжелый evidence/DLP слой, в production сейчас disabled | Inbox/AW/ClickHouse when enabled | +| Containment executor | Отдельный процесс | Выполняет только approved plan/apply/verify/rollback | Workflow events в ClickHouse | +| readiness/healthd | AW server and gateway | Проверяет живость сервисов, freshness, деградации | Portal/status/logs | + +## 4. Горячий путь рабочего времени + +Этот путь должен оставаться быстрым и независимым от тяжелых security-модулей. +DLP, Velociraptor и Hayabusa не должны тормозить расчет рабочих отчетов. + +```mermaid +flowchart LR + Session["RDP user session"] --> Collectors["Collectors
window / AFK / browser / worktime"] + Collectors --> AwHttp["ActivityWatch HTTP API"] + AwHttp --> Buckets["AW buckets
host suffix SHARKON2025"] + Buckets --> Worktime["aw-worktime-api"] + Worktime --> Cache["stale-safe report cache"] + Worktime --> PortalWorkforce["Portal
workforce view"] + Worktime --> Exporter["Influx exporter"] + Exporter --> Influx["InfluxDB"] + Influx --> Grafana["Grafana dashboards"] + Grafana --> Admin["Администратор
проверяет графики"] +``` + +Ключевой принцип: физическое имя или IP RDP-сервера может измениться, но +логический host id для buckets и витрин остается стабильным, пока оператор +явно не проводит миграцию идентификаторов. + +## 5. Отбор и категоризация ресурсов + +Браузерные события идут в общий поток ActivityWatch, затем интерпретируются +политикой рабочих/нерабочих ресурсов. Категории должны храниться как +управляемая конфигурация, а не как зашитые в код одиночные домены. + +```mermaid +flowchart TD + BrowserEvent["Browser event
URL/domain/title"] --> Normalizer["Domain normalizer"] + Normalizer --> CategoryRules["Category rules
work / non-work / neutral / unknown"] + CategoryRules --> WorktimeApi["Worktime API scoring"] + WorktimeApi --> Portal["Portal recommendations"] + WorktimeApi --> Grafana["Grafana panels"] + CategoryRules --> AdminConfig["Admin-owned config
review and update"] +``` + +Администратор должен видеть не только итоговые минуты, но и объяснение: +какой домен, какая категория, сколько времени, почему это считается рабочим +или нерабочим. + +## 6. ClickHouse / File1C / управленческая аналитика + +```mermaid +flowchart LR + FileSource["RDP/Windows File1C telemetry"] --> UploadTask["Windows scheduled task
File1C Upload"] + UploadTask --> Landing["ClickHouse landing directory"] + Landing --> Ingest["aw-1c-ingest-rust
systemd timer"] + Ingest --> CHRaw["ClickHouse raw tables"] + CHRaw --> CHViews["Materialized views
manager and workforce slices"] + CHViews --> Portal1C["Portal / 1C manager brief"] + CHViews --> Grafana1C["Grafana 1C dashboards"] + Ingest --> Health["ClickHouse health timers"] + Health --> PortalStatus["Portal status"] +``` + +Этот контур нужен для управленческой аналитики и файловых/1C-срезов. Он не +заменяет ActivityWatch hot path и не должен блокировать портал при временной +деградации ClickHouse. + +## 7. Security Finding Inbox и управляемое containment + +```mermaid +flowchart LR + HayabusaFindings["Hayabusa/Sigma findings"] --> Adapter["Finding adapters"] + VelociraptorFindings["Velociraptor exports"] --> Adapter + ManualFinding["Manual operator finding"] --> Adapter + OptionalDlp["Optional DLP evidence
disabled by default"] -.-> Adapter + Adapter --> Inbox["Security Finding Inbox
ClickHouse"] + Inbox --> Suspicious["Portal page
Подозрительные станции"] + Suspicious --> Decide["decide"] + Decide --> Plan["plan"] + Plan --> Approve["approve
human gate"] + Approve --> Apply["executor apply"] + Apply --> Verify["verify"] + Verify --> Closed["workflow event
closed or escalated"] + Verify --> Rollback["rollback
when verification fails"] + Rollback --> Inbox + Closed --> Inbox +``` + +```mermaid +stateDiagram-v2 + [*] --> FindingReceived + FindingReceived --> Planned: decide and plan + Planned --> ApprovalRequired: action is risky + ApprovalRequired --> Applied: approved + ApprovalRequired --> Rejected: rejected + Applied --> Verified: verify passed + Applied --> RollbackRequired: verify failed + RollbackRequired --> RolledBack: rollback completed + Verified --> Closed + Rejected --> Closed + RolledBack --> Escalated +``` + +Запрет: findings не должны автоматически блокировать рабочую станцию. Исполнение +возможно только после явного approval и через отдельный executor, который +пишет результат обратно в workflow-аудит. + +## 8. Операционный контроль и recovery + +```mermaid +flowchart TD + DailyCheck["daily / weekly contour checks"] --> Healthd["aw-rus-healthd"] + Orchestration["Ansible and scripts
deploy / validate / support"] --> DailyCheck + Healthd --> AwCheck["AW server and bucket freshness"] + Healthd --> WorktimeCheck["Worktime API health"] + Healthd --> ClickHouseCheck["ClickHouse health"] + Healthd --> GrafanaCheck["Grafana dashboard smoke"] + AwCheck --> Status["Portal status"] + WorktimeCheck --> Status + ClickHouseCheck --> Status + GrafanaCheck --> Status + Status --> Operator["Operator decision
restart, repair, or escalate"] + Operator --> Runbooks["Docs and runbooks"] +``` + +Важное разделение: routine checks не должны автоматически включать тяжелый DLP +runtime и не должны менять сетевые маршруты. Любое изменение маршрутизации, +firewall или containment выполняется как отдельное управляемое действие. + +## 9. Governance, GitHub и Gitea + +```mermaid +flowchart LR + DevBranch["Feature/docs branch"] --> PR["GitHub PR
public mirror validation"] + PR --> Checks["Required checks
rust, docs, security, smoke"] + Checks --> Review["CODEOWNERS review"] + Review --> Main["main branch"] + Main --> Gitea["Russian Gitea mirror
primary private contour"] + Gitea --> Runner["Russian build-runner
planned release evidence"] + PR -. not registry evidence .-> Note["Public transparency only"] +``` + +GitHub полезен для публичной проверяемости: PR, issues, checks, branch ruleset. +Но для российского реестрового release evidence нужен отдельный российский +контур сборки и хранения артефактов. + +## 10. Оркестрация и поддержание актуальности + +Оркестрационные entrypoints отдельно зафиксированы в +[docs/ORCHESTRATION_MAP_RU.md](ORCHESTRATION_MAP_RU.md). Этот документ +связывает архитектурные модули с Ansible playbooks, systemd timers, Windows +Scheduled Tasks и read-only check scripts. + +В репозитории есть guard: + +```bash +bash scripts/check_orchestration_map.sh +``` + +Он не ходит в production и не меняет runtime. Его задача - проверить, что +карта оркестрации ссылается на реальные playbooks/scripts и содержит +обязательные safety-маркеры: DLP optional mode, Hayabusa/Velociraptor boundary, +approval gate для containment и разделение GitHub/Gitea release контуров. + +## 11. Где смотреть руками + +| Что проверить | Где смотреть | +|---|---| +| Единый портал DetMir | `/portal` на gateway | +| Рабочая активность и рекомендации | Portal workforce pages, Worktime API | +| Графики по сотрудникам и приложениям | Grafana dashboards `detmir-aw-main`, `detmir-rdp-user-activity` и связанные panels | +| Состояние AW buckets | ActivityWatch API и readiness/status в portal | +| 1C/File analytics | Portal 1C manager views, ClickHouse dashboards | +| Подозрительные станции | Portal security view / Security Finding Inbox | +| Hayabusa/Velociraptor findings | Inbox import status, security dashboards, runbooks | +| Runtime checks | `aw-rus-healthd`, contour check scripts, portal status | +| Код и evidence процесса | GitHub PR/issues, private Gitea mirror | + +## 12. Связанные документы + +- [docs/ARCHITECTURE_RU.md](ARCHITECTURE_RU.md) +- [docs/UNIFIED_OPERATING_MODEL_RU.md](UNIFIED_OPERATING_MODEL_RU.md) +- [docs/ORCHESTRATION_MAP_RU.md](ORCHESTRATION_MAP_RU.md) +- [docs/GRAFANA_DASHBOARDS_RU.md](GRAFANA_DASHBOARDS_RU.md) +- [docs/DLP_OPTIONAL_RUNTIME_RU.md](DLP_OPTIONAL_RUNTIME_RU.md) +- [docs/PRODUCTION_READINESS_RU.md](PRODUCTION_READINESS_RU.md) diff --git a/docs/ORCHESTRATION_MAP_RU.md b/docs/ORCHESTRATION_MAP_RU.md new file mode 100644 index 0000000..cf90975 --- /dev/null +++ b/docs/ORCHESTRATION_MAP_RU.md @@ -0,0 +1,131 @@ +# AWatch-rus / DetMir: карта оркестрации + +Статус: актуальная карта deploy/check orchestration для просмотра в +GitHub/Gitea. + +Документ фиксирует, какие playbooks, systemd units и scripts управляют +модулями комплекса. Это не инструкция выполнять production deploy без окна +работ: большинство playbooks меняют сервисы, scheduled tasks или dashboards. + +## 1. Общий порядок оркестрации + +```mermaid +flowchart TD + Inventory["inventory.ini
group_vars/*.yml
private env vars"] --> Full["install_full_stack.yml"] + Full --> Server["deploy_aw_server.yml
AW server and Rust services"] + Full --> Windows["deploy_aw_windows.yml
RDP/Windows collectors"] + Full --> Gateway["deploy_proxmox_web_gateway.yml
operator gateway"] + Full --> Grafana["deploy_grafana_dashboards.yml
Grafana dashboards"] + Full --> Checks["deploy_grafana_check.yml
dashboard/data freshness check"] + + Server --> Portal["deploy_detmir_portal.yml
portal and evidence API"] + Server --> Worktime["worktime API
Influx exporter
healthd"] + Windows --> Tasks["Windows Scheduled Tasks
Launch / Recovery / File1C / Hayabusa"] + Gateway --> PublicEntry["/portal and /d/... routes"] + Grafana --> Dashboards["detmir dashboards"] + + Checks --> Contour["run_awatch_contour_check.sh"] + Contour --> Daily["awatch-contour-daily-check.timer"] + Contour --> Weekly["awatch-contour-weekly-check.timer"] +``` + +## 2. Оркестрационные entrypoints + +| Зона | Entrypoint | Тип действия | Что поддерживает | +|---|---|---|---| +| Полный контур | `ansible/install_full_stack.yml` | deploy orchestrator | Последовательный запуск основных playbooks по группам inventory | +| AW server | `ansible/deploy_aw_server.yml` | deploy | ActivityWatch server, Rust binaries, server-side units | +| Windows/RDP | `ansible/deploy_aw_windows.yml` | deploy | Collectors, guard service, recovery task, File1C/Hayabusa scheduled tasks | +| Post-validate Windows | `ansible/post_validate_aw_windows.yml` | validation | Read-only-ish validation after Windows rollout | +| DetMir portal | `ansible/deploy_detmir_portal.yml` | deploy | Portal, evidence API, portal env, systemd services | +| Gateway | `ansible/deploy_proxmox_web_gateway.yml` | deploy | Nginx gateway, `/portal`, Grafana routes, operator index | +| Grafana dashboards | `ansible/deploy_grafana_dashboards.yml` | deploy | Version-controlled dashboards import | +| Grafana checker | `ansible/deploy_grafana_check.yml` | deploy/check | Dashboard and datasource health checks | +| File1C analytics | `ansible/deploy_file_1c_analytics.yml` | deploy | ClickHouse/File1C analytics server side | +| File1C Windows upload | `ansible/deploy_file_1c_windows_telemetry.yml` | deploy | Windows scheduled upload task | +| Optional DLP evidence | `ansible/deploy_dlp_evidence_sync.yml` | opt-in deploy | Evidence sync task only when DLP is explicitly enabled | +| pfSense poller | `ansible/deploy_aw_pfsense_poller.yml` | optional deploy | Network telemetry helper, outside workforce hot path | +| Daily/weekly checks | `scripts/run_awatch_contour_check.sh` | read-only check | Contour health bundle and optional smoke checks | +| Daily check timer | `ops/systemd/awatch-contour-daily-check.timer` | systemd timer | Scheduled daily run of contour check | +| Weekly check timer | `ops/systemd/awatch-contour-weekly-check.timer` | systemd timer | Scheduled weekly run of contour check | +| Support bundle | `scripts/detmir-support-daily.sh` and related scripts | read-only/support | Operator diagnostics and support artifacts | +| Orchestration guard | `scripts/check_orchestration_map.sh` | repository check | Ensures this map references live playbooks/scripts | + +## 3. Runtime boundaries + +```mermaid +flowchart LR + Deploy["Deploy orchestration
Ansible"] --> Runtime["Runtime services
systemd and Windows tasks"] + Runtime --> Check["Read-only checks
detmir-check, contour check, smoke"] + Check --> Evidence["Logs and summaries
operator review"] + + OptionalDlp["Optional DLP runtime"] -. explicit operator decision .-> Runtime + Hayabusa["Hayabusa upload task"] --> Findings["Security findings import"] + Velociraptor["Velociraptor mode"] -. disabled/offline/server explicit .-> Findings + Findings --> Portal["Portal security view"] + Portal -. approval required .-> Executor["Separate executor
plan/apply/verify/rollback"] +``` + +Правила: + +- routine deploy/recovery не должен сам включать тяжелый DLP runtime; +- Hayabusa/Velociraptor findings не являются заменой SIEM/DLP/EDR; +- блокировка рабочих станций возможна только через отдельный executor и явное + approval; +- GitHub CI остается public mirror validation, а не registry release evidence; +- Gitea и российский build-runner остаются основным release/evidence контуром. + +## 4. Windows/RDP task orchestration + +```mermaid +flowchart TD + DeployWin["deploy_aw_windows.yml"] --> Toolkit["C:\\Program Files\\AWatch-rus\\windows"] + Toolkit --> Ensemble["deploy-ensemble.ps1"] + Ensemble --> Recovery["ActivityWatch Recovery
Scheduled Task"] + Ensemble --> Launch["ActivityWatch Launch [HOST_user]
per-user tasks"] + Ensemble --> Guard["AWatchRusCollectorGuard
Windows service"] + Ensemble --> File1C["ActivityWatch File1C Upload
Scheduled Task"] + Ensemble --> Hayabusa["ActivityWatch Hayabusa Upload
Scheduled Task"] + + Guard --> Worktime["worktime-session collector"] + Launch --> AFK["aw-watcher-afk"] + Launch --> Window["aw-watcher-window"] + Launch --> Browser["browser category collector"] + File1C --> ClickHouse["ClickHouse landing"] + Hayabusa --> AWServer["AW server Hayabusa drop"] +``` + +Production DetMir использует стабильный logical host id `SHARKON2025` для +bucket-ов и витрин. Смена физического имени/IP RDP-сервера не должна +автоматически менять bucket suffix или Grafana variables. + +## 5. Read-only checks and quality gates + +| Проверка | Команда | Назначение | +|---|---|---| +| Orchestration map check | `bash scripts/check_orchestration_map.sh` | Проверяет, что карта оркестрации ссылается на реальные entrypoints | +| Repository quality gate | `bash scripts/quality-gate.sh` | Включает orchestration map check, shell/node/pwsh/ansible guards | +| Secret scan | `python3 scripts/public_secret_pattern_check.py` | Не допускает публичные секреты | +| Contour check | `bash scripts/run_awatch_contour_check.sh` | Read-only production contour check через env вне репозитория | +| Browser smoke | `scripts/aw-webui-browser-smoke.sh` | Проверяет operator/browser surface | +| Portal contract sync | `node scripts/check_portal_contract_sync.mjs` | Проверяет согласованность portal API/static contracts | + +## 6. Что не делаем автоматически + +- Не запускаем `deploy_dlp_full_stack.yml` как часть routine checks. +- Не включаем DLP timers/services без отдельного решения оператора. +- Не стартуем Velociraptor server/client contour автоматически на малом + production Proxmox. +- Не меняем маршрутизацию, firewall или workstation containment из checks. +- Не публикуем credentials, tokens, passwords или customer identifiers в Git. + +## 7. Связанные документы + +- [MODULE_ARCHITECTURE_GRAPH_RU.md](MODULE_ARCHITECTURE_GRAPH_RU.md) +- [ARCHITECTURE_RU.md](ARCHITECTURE_RU.md) +- [UNIFIED_OPERATING_MODEL_RU.md](UNIFIED_OPERATING_MODEL_RU.md) +- [DLP_OPTIONAL_RUNTIME_RU.md](DLP_OPTIONAL_RUNTIME_RU.md) +- [PRODUCTION_READINESS_RU.md](PRODUCTION_READINESS_RU.md) +- [OPERATIONS_VALIDATION_RUNBOOK_RU.md](OPERATIONS_VALIDATION_RUNBOOK_RU.md) +- [GRAFANA_DASHBOARDS_RU.md](GRAFANA_DASHBOARDS_RU.md) +- [../ansible/README.md](../ansible/README.md) diff --git a/scripts/check_orchestration_map.sh b/scripts/check_orchestration_map.sh new file mode 100644 index 0000000..a4a4e81 --- /dev/null +++ b/scripts/check_orchestration_map.sh @@ -0,0 +1,98 @@ +#!/usr/bin/env bash +set -euo pipefail + +ROOT="$(cd "$(dirname "${BASH_SOURCE[0]}")/.." && pwd)" +DOC="$ROOT/docs/ORCHESTRATION_MAP_RU.md" +failures=() + +fail() { + failures+=("$1") +} + +require_file() { + local path="$1" + if [[ ! -s "$ROOT/$path" ]]; then + fail "missing_or_empty:$path" + fi +} + +require_marker() { + local marker="$1" + local path="$2" + if ! grep -Fq "$marker" "$ROOT/$path"; then + fail "missing_marker:$path:$marker" + fi +} + +require_absent() { + local marker="$1" + local path="$2" + if grep -Fq "$marker" "$ROOT/$path"; then + fail "forbidden_marker:$path:$marker" + fi +} + +require_file "docs/ORCHESTRATION_MAP_RU.md" +require_file "docs/MODULE_ARCHITECTURE_GRAPH_RU.md" +require_file "ansible/README.md" +require_file "README.md" + +entrypoints=( + "ansible/install_full_stack.yml" + "ansible/deploy_aw_server.yml" + "ansible/deploy_aw_windows.yml" + "ansible/post_validate_aw_windows.yml" + "ansible/deploy_detmir_portal.yml" + "ansible/deploy_proxmox_web_gateway.yml" + "ansible/deploy_grafana_dashboards.yml" + "ansible/deploy_grafana_check.yml" + "ansible/deploy_file_1c_analytics.yml" + "ansible/deploy_file_1c_windows_telemetry.yml" + "ansible/deploy_dlp_evidence_sync.yml" + "ansible/deploy_aw_pfsense_poller.yml" + "scripts/run_awatch_contour_check.sh" + "scripts/detmir-support-daily.sh" + "scripts/check_orchestration_map.sh" + "ops/systemd/awatch-contour-daily-check.timer" + "ops/systemd/awatch-contour-weekly-check.timer" +) + +for path in "${entrypoints[@]}"; do + require_file "$path" + require_marker "$path" "docs/ORCHESTRATION_MAP_RU.md" +done + +doc_markers=( + "GitHub/Gitea" + "DLP runtime" + "Hayabusa" + "Velociraptor" + "Security findings" + "approval" + "SHARKON2025" + "logical host id" + "quality-gate.sh" + "public mirror validation" + "российский build-runner" +) + +for marker in "${doc_markers[@]}"; do + require_marker "$marker" "docs/ORCHESTRATION_MAP_RU.md" +done + +require_marker "docs/ORCHESTRATION_MAP_RU.md" "docs/MODULE_ARCHITECTURE_GRAPH_RU.md" +require_marker "docs/ORCHESTRATION_MAP_RU.md" "README.md" +require_marker "docs/ORCHESTRATION_MAP_RU.md" "ansible/README.md" + +require_absent "FSTEC certified" "docs/ORCHESTRATION_MAP_RU.md" +require_absent "ФСТЭК сертифицирован" "docs/ORCHESTRATION_MAP_RU.md" +require_absent "automatic remediation" "docs/ORCHESTRATION_MAP_RU.md" +require_absent "registry submission completed" "docs/ORCHESTRATION_MAP_RU.md" + +if (( ${#failures[@]} > 0 )); then + printf 'orchestration_map_check=fail\n' >&2 + printf '%s\n' "${failures[@]}" >&2 + exit 1 +fi + +printf 'orchestration_map_check=ok\n' diff --git a/scripts/quality-gate.sh b/scripts/quality-gate.sh index 22def62..e1e94dd 100755 --- a/scripts/quality-gate.sh +++ b/scripts/quality-gate.sh @@ -17,18 +17,25 @@ else echo "node not found, skipping portal contract sync guard." fi +echo "[preflight] Orchestration map guard" +bash scripts/check_orchestration_map.sh + rust_candidates=() if [[ -n "$RUST_BIN" ]]; then rust_candidates+=("$RUST_BIN") fi -if [[ -n "${AW_RUS_CARGO_TARGET_DIR:-}" ]]; then - rust_candidates+=("$AW_RUS_CARGO_TARGET_DIR/release/quality-gate") +if [[ "${QUALITY_GATE_USE_RUST:-0}" == "1" ]]; then + if [[ -n "${AW_RUS_CARGO_TARGET_DIR:-}" ]]; then + rust_candidates+=("$AW_RUS_CARGO_TARGET_DIR/release/quality-gate") + fi + rust_candidates+=( + "$TARGET_ROOT/release/quality-gate" + "$ROOT_DIR/adk-rust/target/release/quality-gate" + ) +fi +if [[ "${QUALITY_GATE_ALLOW_SYSTEM:-0}" == "1" ]]; then + rust_candidates+=("/usr/local/bin/quality-gate") fi -rust_candidates+=( - "$TARGET_ROOT/release/quality-gate" - "$ROOT_DIR/adk-rust/target/release/quality-gate" - "/usr/local/bin/quality-gate" -) for candidate in "${rust_candidates[@]}"; do if [[ -x "$candidate" ]]; then @@ -96,7 +103,7 @@ fi violations=() for path in "${tracked_py[@]}"; do case "$path" in - aw-server/dlp-content-analysis/*|clickhouse-1c/ai/*|clickhouse-1c/etl/*|detmir-mcp/main.py|grafana-1c/*|pfsense/*|proxmox/tsj_guardian_bot.py|proxmox/test_tsj_guardian_bot.py|scripts/package_rust_release_binaries.py) + aw-server/dlp-content-analysis/*|clickhouse-1c/ai/*|clickhouse-1c/etl/*|detmir-mcp/main.py|grafana-1c/*|pfsense/*|proxmox/tsj_guardian_bot.py|proxmox/test_tsj_guardian_bot.py|scripts/package_rust_release_binaries.py|scripts/public_secret_pattern_check.py) continue ;; esac