Skip to content

Latest commit

 

History

History
202 lines (149 loc) · 21.3 KB

File metadata and controls

202 lines (149 loc) · 21.3 KB

English version: README.md

IP Analytics

English version: README.md

Разведка по IP и эксплуатация агентов — небольшие открытые инструменты для сетевых данных и для агента, который помогает с ними работать

Здесь две линии. Сетевая разведка: ASN, BGP, RPKI, geofeed, MMDB, сигналы VPN, Tor и краулеров — в виде воспроизводимых наборов данных и инструментов без тяжёлых зависимостей. Эксплуатация агента: всё, что накопилось от работы одного личного ИИ-агента без присмотра с середины 2026 года — расписания, бюджеты контекста и денег, песочница, секреты, доставка, проверки. У каждого проекта написано, какой сбой он предотвращает, и каждый достаточно мал, чтобы прочитать его за вечер.


Направления

  • Эксплуатация агента: гигиена расписаний, бюджеты контекста и токенов, здоровье доставки, память, которая не гниёт
  • Инструменты для агента: плагины рантайма, декларативные проверки задач, пул голосов, сторож публикации
  • Данные о здоровье у себя: приборы читаются напрямую по Bluetooth, одно хранилище SQLite, без облака производителя
  • Подконтрольная автоматизация с явными границами, политикой, доказательствами, повтором и просмотром человеком
  • Обогащение IP, CIDR и ASN с происхождением данных и оценкой уверенности
  • Разбор BGP, RPKI, ROA, RIR, WHOIS и geofeed
  • Разведка по VPN, прокси, Tor, краулерам, облакам, CDN и хостингам
  • Сборка, проверка, правка и развёртывание баз GeoIP/MMDB
  • Воспроизводимые наборы данных для SIEM, борьбы с мошенничеством, OSINT и сетевых задач
  • Статические дашборды и публикация через GitHub без бэкенда

Проекты

Эксплуатация агента и инструменты

Всё в этой группе выросло из работы одного личного агента без присмотра с середины 2026 года: он запускает задачи по расписанию в 03:10, говорит через чат, ведёт данные о здоровье, читает почту и публикует в GitHub. Записи сделаны по тому, что ломалось, а не по тому, что обещает фреймворк.

Проект Описание
Hermes-Agent-Ops Серия из 34 модулей о том, как удержать агента живым: крон для кронов, компакция контекста, управление расходами, песочница, политика секретов, здоровье доставки, гигиена памяти и навыков. В каждом модуле назван сбой, который он предотвращает, и то, как это измерено.
Awesome-Agent-Ops Список того, что действительно нужно для работы личного агента. Собирается из данных и проверяется в CI, поэтому тихо зарости не может, и каждая запись ведёт к практике, а не к вендору.
Hermes-Plugin-Pack Четыре плагина к рантайму Hermes: песочница proot, которая даёт терминалу рабочую папку и больше ничего; автоматическая сборка навыков из реального использования; компакция, которая удаляет устаревшее вместо пересказа; реакции, превращённые в файл вердиктов.
Agent-Cron-Evals Детерминированные проверки задач по расписанию: запустилась ли, успешно ли, дошёл ли результат, жив ли сам сторож. Без модели, без сети, с кодами выхода, понятными крону.
TTS-Voice-Pool Один вызов, чтобы говорить через несколько поставщиков озвучки: ротация ключей, квоты, паузы, месячный потолок и бесплатный запасной движок — голос не зависит от одного вендора.
Agent-Mission-Control Локальный пункт управления автономными кодирующими агентами: задания с явными границами файлов, политика команд, сбор доказательств, журнал событий с повтором.

Разведка по IP, ASN и инфраструктуре

Проект Описание
IP-Knowledge-Layer Открытый слой обогащения контекстом CIDR, ASN, облаков, CDN, краулеров, Tor и VPN с указанием источников данных и оценкой достоверности.
IPxray Автономный (offline) резолвер IP, CIDR и ASN с указанием источников, сведениями о свежести данных и объяснимым инфраструктурным контекстом.
ASNforge Воспроизводимый компилятор разведывательных данных по ASN и происхождении префиксов (origin) для обогащения, аналитики маршрутизации и конвейеров безопасности.
ASN-Signal-Graph Агрегация на уровне ASN пересечений с VPN, видимости Tor, присутствия в публичных фидах и оборонительных сетевых сигналов.
ASN-Karma Конвейер оценки риска ASN, агрегирующий свидетельства враждебной инфраструктуры и публикующий операционные наборы данных с оценками.
BlackRoute Конвейер разведки безопасности для враждебной IP-инфраструктуры, фидов злоупотреблений, анонимайзеров и телеметрии атак.
BogonForge Воспроизводимый компилятор политик для IP-адресов и ASN специального назначения по данным IANA и RFC.
RIR-SQL-Forge Строит локальные базы данных владельцев и abuse-контактов из публичных данных RPSL в форматах SQLite, DuckDB, Parquet и CSV.
Cloud-Egress-IP-Ranges Ежедневные диапазоны исходящих (egress) адресов облаков, CDN, PaaS, CI/CD, serverless и хостингов с метаданными, диффами и экспортами для систем безопасности.
Sat-geoip Разведка спутникового интернета на основе операторских GeoIP-фидов, сопоставлений PoP, BGP, данных RIR/RPKI и истории.
DNS-Threat-Intelligence-dataset Легальный OSINT-конвейер для сбора, нормализации, обогащения, оценки и публикации DNS-разведки угроз.

Маршрутизация и геолокация

Проект Описание
RouteSentinel Ежедневный анализатор снимков безопасности маршрутов для дампов RIB BGP и наборов данных VRP RPKI.
GeoFeed-Harvester Обнаруживает и валидирует geofeeds по RFC 8805, сохраняет сведения о происхождении данных и проверяет видимость в BGP.
GeoForge Компилирует консенсусную базу данных GeoIP из публичных источников геолокации, geofeed, RIR и WHOIS.

Инженерия MMDB

Проект Описание
MMDBForge Набор инструментов разработчика для инспектирования, валидации, сравнения (diff) и объяснения файлов MaxMind DB.
MMDBbridge Управляемый схемой мост CSV-to-MMDB и MMDB-to-CSV для пользовательских наборов данных IP-разведки.
MMDBpatch Декларативное патчирование через YAML с dry-run диффами и воспроизводимыми наложениями MMDB.
MMDB-WatchTower Обновляющий компонент для production с проверкой, smoke-тестами, атомарной заменой, откатом и метриками Prometheus.

Краулеры, Tor и блоклисты

Проект Описание
CrawlerScope Интерактивная панель IP-аналитики (IP intelligence) для поисковых краулеров, ИИ-ботов, сканеров и инициируемых пользователем загрузчиков.
AI-Crawler-Blocklist Проверенные IP-диапазоны ИИ-краулеров, правила user-agent, элементы управления robots.txt и готовые к развёртыванию сниппеты для межсетевого экрана.
Tor-Radar Почасовые снимки публичных ретрансляторов Tor и интерактивная аналитическая панель, работающая только в браузере.
Hisense-VIDAA-DNS-Clean-TV-Blocklist DNS-блоклист для сокращения телеметрии, рекламных акций и нежелательных сервисов телевизоров VIDAA.

Сетевые инструменты и инструменты приватности

Проект Описание
PrefixLint Нативный для CI линтер и нормализатор для блоклистов, разрешающих списков (allowlist), CIDR-фидов, ipset, nftables и данных сетевых политик.
PrefixCloak Санитайзер (sanitizer) IPv4/IPv6 с сохранением префиксов, благодаря которому аналитика логов и SIEM на уровне подсетей остаётся полезной.

Исследование инфраструктуры VPN

Проект Описание
VPN-Infrastructure-Intelligence-Lab Агрегированный набор данных об инфраструктуре VPN и панель для анализа по провайдерам, странам, ASN, взаимосвязям и хостингам.

Приборы, которые умеют говорить только со своим приложением, — это хранилище данных с батарейкой. Эти проекты читают их напрямую, держат числа локально и описывают протокол, чтобы следующий прибор не стал новым исследованием.

Проект Описание
BLE-Vitals-Bridge Давление и вес в одном локальном файле SQLite: разбор кадров Bluetooth SIG (ISO 11073 SFLOAT, бит имперских единиц), дедупликация по построению, сторож, который замечает замолчавший прибор, выгрузка CSV. Без облака, без приложения производителя, без учётной записи.
Beurer-BM59-Unlocked-Reverse-Engineering Записи о протоколе тонометра, который поставляется со приложением: службы GATT, раскладка кадра, что делает приложение производителя и что можно прочитать без него.
Xiaomi-Scale-Unlocked-Reverse-Engineering То же для весов Xiaomi: формат рекламного пакета, стандартная служба веса и почему устройство с шифрованным MiBeacon остаётся нечитаемым без ключа привязки.
KardiaMobile-6L-Unlocked-Reverse-Engineering То же для кардиомонитора AliveCor: рукопожатие по BLE, разбор кадров и что добавляет официальное приложение поверх сырого сигнала.

Архивные исследования

Эти репозитории остаются публичными как исторические наборы данных и артефакты исследований.

Проект Описание
VPN-Infrastructure-Atlas Интерактивный атлас агрегированных зон присутствия VPN-провайдеров по странам, ASN и хостинговым сетям.
ASN-VPN-Network-Intelligence Исторические результаты работы сборщика инфраструктуры VPN, опубликованные в виде агрегированных CSV-наборов данных.
vpn-provider-overlap-intelligence Исторический анализ пересечений VPN-провайдеров по IP-адресам, префиксам, ASN и хостинговым сетям.

Модель автоматизации на основе ИИ

development objective
  -> explicit mission contract and scope
  -> agent execution with command and file policy
  -> evidence, event logs, and scope ledger
  -> automated verification and replay
  -> human review and controlled delivery

Поток данных сетевой аналитики

public network sources
  -> collection and normalization
  -> CIDR and ASN attribution
  -> BGP, RPKI, RIR, WHOIS, and geofeed validation
  -> cloud, hosting, VPN, Tor, crawler, and threat signals
  -> provenance and confidence scoring
  -> CSV, JSONL, Parquet, SQLite, DuckDB, MMDB, dashboards, and APIs

Контур работы агента

один агент, один небольшой сервер, дежурного нет
  -> задачи по расписанию, которые не имеют права падать тихо
  -> бюджеты контекста, токенов и денег
  -> песочница, политика секретов и сторож перед публикацией
  -> доставка, которую человек действительно читает
  -> проверки и вскрытие, когда всё равно сломалось

Стек

Go, Python, JavaScript, HTML, Linux, Docker, Git, and GitHub Actions

Языки: Go Python JavaScript HTML

Инженерия ИИ: Coding Agents Agent Orchestration Tool Policies Evaluation Evidence Capture Workflow Automation

Рантайм агента: Hermes Agent Плагины Навыки Крон Бюджеты контекста Проверки задач

Протоколы приборов: BLE GATT ISO 11073 MiBeacon SQLite

Форматы: CSV JSON JSONL Parquet SQLite DuckDB MMDB CIDR

Сетевые данные: ASN BGP RPKI ROA RIR RPSL WHOIS GeoIP GeoFeed

Сигналы инфраструктуры: VPN Proxy Tor Crawler Cloud CDN Hosting Scanner Reputation

Инженерные принципы

Принцип Практика
Воспроизводимость Детерминированные сборки и поддающиеся аудиту входные данные
Контролируемая автономия Явные рамки и политика для работы, выполняемой агентами
Проверяемая поставка Доказательства, воспроизведение, тесты и отчёты, доступные для проверки человеком
Прозрачность источников Происхождение, свежесть и достоверность остаются видимыми
Практическая применимость Результаты рассчитаны на локальный поиск и конвейеры безопасности
Статическая поставка Предпочтение переносимым артефактам, GitHub Pages и дашбордам без бэкенда
Защитный охват Публикация инфраструктурной аналитики без раскрытия чувствительных сырых инвентарных данных

Сотрудничество

Актуальные направления включают автономные системы написания кода, оркестрацию агентов, рабочие процессы разработки с применением ИИ, проверяемую автоматизацию, наборы данных IP-аналитики, аналитику ASN и маршрутизации, исследование инфраструктуры VPN и Tor, видимость краулеров, обеспечение качества GeoIP/MMDB, измерения RPKI/BGP, обнаружение мошенничества и обогащение SIEM.

Лицензирование

Лицензирование зависит от репозитория и ограничений исходных источников. Код, как правило, выпускается под Apache-2.0 или MIT; сгенерированные наборы данных обычно используют CC0-1.0. Обращайтесь к лицензии каждого репозитория и документации его источников.