testing for v2.9, upgrade Operations system with alerting, custom metrics, events, actions and user reports, fix bugs in env file parsing and functional utils

Author: voidZXL

docs/zh/community/roadmap.md

@@ -24,7 +24,7 @@
 
 ### 运维管理系统
 
-* 服务端自定义或推送报警规则进行实时报警通知
+* 服务端自定义或推送告警规则进行实时告警通知
 * 支持接入现有的日志与监控数据源（如 ElasticSearch 与 Prometheus）
 * 对测试场景服务端能力的完善，如测试库，测试日志，压测处理
 
@@ -36,4 +36,4 @@
 **新特性**
 
 * 支持部署所需的 uwsgi 和 gunicorn 配置文件的自动生成 
-* 支持服务端自定义或推送报警规则进行实时报警通知
+* 支持服务端自定义或推送告警规则进行实时告警通知

docs/zh/guide/config-run.md

@@ -789,6 +789,6 @@ nginx -s reload
 
 ## 服务观测与运维管理
 
-UtilMeta 框架内置了一个 API 服务管理系统，可以方便地观测与管理对本地与线上的 API 服务，提供了数据，接口，日志，监控，测试，报警等一系列运维管理功能，在 [Operations 运维管理系统配置](../ops) 中有这个系统的详细介绍与配置方式
+UtilMeta 框架内置了一个 API 服务管理系统，可以方便地观测与管理对本地与线上的 API 服务，提供了数据，接口，日志，监控，测试，告警等一系列运维管理功能，在 [Operations 运维管理系统配置](../ops) 中有这个系统的详细介绍与配置方式
 
 你也可以直接进入 [UtilMeta API 服务管理平台](https://ops.utilmeta.com) 进行体验

docs/zh/guide/ops.md

@@ -1,6 +1,6 @@
 # 运维监控与服务管理
 
-UtilMeta 框架内置了一个 API 服务管理系统，可以方便地观测与管理对本地与线上的 API 服务，提供了数据，接口，日志，监控，测试，报警等一系列运维管理功能，本篇文档将详细介绍 UtilMeta 的 Operations 运维管理系统的配置与 UtilMeta 平台的连接方式
+UtilMeta 框架内置了一个 API 服务管理系统，可以方便地观测与管理对本地与线上的 API 服务，提供了数据，接口，日志，监控，测试，告警等一系列运维管理功能，本篇文档将详细介绍 UtilMeta 的 Operations 运维管理系统的配置与 UtilMeta 平台的连接方式
 
 ## 配置引入
 
@@ -68,7 +68,7 @@ Operations 配置项的主要参数包括
 
 **任务与监控配置**
 
-* `worker_cycle`：Operations 系统在服务启动后会在每个进程（worker）中启动一个运维任务线程，用于收集并存储请求日志，监控服务数据和报警等，你可以使用 `worker_cycle` 参数指定这些任务每次运行的间隔时间（`int` 描述或 `timedelata`），默认为 30 秒，也就是说默认服务每个进程的请求日志会每 30 秒持久化一次，服务器，数据库和服务实例的监控与报警会每 30 秒进行一次
+* `worker_cycle`：Operations 系统在服务启动后会在每个进程（worker）中启动一个运维任务线程，用于收集并存储请求日志，监控服务数据和告警等，你可以使用 `worker_cycle` 参数指定这些任务每次运行的间隔时间（`int` 描述或 `timedelata`），默认为 30 秒，也就是说默认服务每个进程的请求日志会每 30 秒持久化一次，服务器，数据库和服务实例的监控与报警会每 30 秒进行一次
 
 * `max_backlog`：设置请求日志的最大积压量，除了运维任务的每个 `worker_cycle` 会持久化日志外，当你的进程中积压的未存储日志超过了 `max_backlog` 的值也会触发日志存储，默认是 100 
 * `secret_names`：运维管理系统的日志模块会在请求出错（抛出异常，返回 400 及以上状态码）时存储请求和响应的信息用于调试，为了数据安全，你可以指定一系列可能包含密钥或敏感数据的字段名，在日志进行存储时，检测到字段名包含其中任何一个的请求参数，请求体，请求头，响应体和响应头字段都会使用 `'******'` 来代替，默认的 `secret_names` 为
@@ -87,7 +87,7 @@ DEFAULT_SECRET_NAMES = (
 )
 ```
 
-* `max_retention_time`：指定运维系统中所有时序数据的最大存储时间，时序数据包括日志，服务监控，报警记录等数据，这里指定的是所有数据最大存储时间，超过这个时间的数据会被清理，对于细分的数据类别和状态下面将会也介绍更具体的存储时间配置
+* `max_retention_time`：指定运维系统中所有时序数据的最大存储时间，时序数据包括日志，服务监控，告警记录等数据，这里指定的是所有数据最大存储时间，超过这个时间的数据会被清理，对于细分的数据类别和状态下面将会也介绍更具体的存储时间配置
 
 
 **管理权限配置**
@@ -293,7 +293,7 @@ UtilMeta 已经提供了一个开源的代理服务 [utilmeta-proxy](https://git
 在 Operations 配置中，可以使用 `proxy` 参数配置代理服务节点的地址与设置，主要的参数有
 
 * `base_url`：代理节点的公网 URL 地址，在添加集群并设置代理域名后会自动生成这个地址
-* `forward`：是否正向代理节点的出向管理同步请求，比如同步源信息，汇报数据，报警通知等，这个参数在内网节点无法向公网地址发送请求时需要设置为 `True`
+* `forward`：是否正向代理节点的出向管理同步请求，比如同步源信息，汇报数据，告警通知等，这个参数在内网节点无法向公网地址发送请求时需要设置为 `True`
 
 ```python
 from utilmeta import UtilMeta
@@ -657,15 +657,15 @@ meta connect
 * 可调试的 API 接口文档
 * 编写与执行 API 单元测试
 * 查看 API 的调用与测试日志
-* 为 API 设置拨测监控与报警（即将上线）
+* 为 API 设置拨测监控与告警（即将上线）
 
 使用 UtilMeta 框架（或其他支持的框架）连接到平台的 API 服务称为 **UtilMeta 节点**，UtilMeta 框架的运维管理系统提供的 OperationsAPI 使得 UtilMeta 节点有了服务端的观测和汇报能力，所以 UtilMeta 节点相对普通的 API 服务有着以下的额外功能
 
 * 服务端请求实时日志查询
 * 数据管理 CRUD （需要服务端使用支持的 ORM 库，目前支持 django ORM）
 * API 真实请求访问统计与分析
 * 服务端资源性能与占用实时监控
-* 服务端条件报警与通知（即将上线）
+* 服务端条件告警与通知（即将上线）
 
 !!! tip
 	以上的功能是为提供网络访问地址的 UtilMeta 节点提供的，如果你连接的是 **本地 (localhost / 127.0.0.1)** UtilMeta 节点，那么平台只能提供数据，接口，日志，服务监控等基本功能

tests/test_5_ops/test_log.py

@@ -5,7 +5,7 @@
 
 class TestLog:
     def test_parse_values(self, service):
-        from utilmeta.ops.log import Logger
+        from utilmeta.ops.log.logger import Logger
         logger = Logger()
         assert (logger.parse_values([{'user': {'password': '123', 'token': 'XXX'}}]) ==
                 [{'user': {'password': '********', 'token': '********'}}])

tests/test_5_ops/test_ops.py

@@ -3,7 +3,7 @@
 import pytest
 from tests.conftest import make_cmd_process, db_using
 from utilmeta.core import cli
-from utilmeta.ops.client import OperationsClient
+from utilmeta.ops.spv.client import OperationsClient
 from utilmeta.core.api.plugins.retry import RetryPlugin
 # test import client here, client should not depend on ops models
 from utilmeta.ops import __spec_version__

utilmeta/__init__.py

@@ -1,7 +1,7 @@
 __website__ = "https://utilmeta.com"
 __homepage__ = "https://utilmeta.com/py"
 __author__ = "Xulin Zhou (@voidZXL)"
-__version__ = "2.8.1"
+__version__ = "2.9.0-alpha"
 
 
 def version_info() -> str:

utilmeta/conf/env.py

@@ -96,15 +96,22 @@ def _load_from_file(self) -> Mapping:
             if not line.strip():
                 # empty line
                 continue
+            if line.startswith('#'):
+                # comment
+                continue
             try:
-                key, value = line.split("=")
-            except ValueError as e:
-                raise ValueError(
-                    f"{self.__class__}: file: {repr(self._file)} invalid line: {repr(line)}, "
-                    f"should be <KEY>=<VALUE>"
-                ) from e
+                key, *values = line.split("=")
+                # handle = in values
+            except ValueError:
+                # skip other lines
+                continue
+                # raise ValueError(
+                #     f"{self.__class__}: file: {repr(self._file)} invalid line: {repr(line)}, "
+                #     f"should be <KEY>=<VALUE>"
+                # ) from e
+
             key = str(key).strip()
-            value = str(value).strip()
+            value = str('='.join(values)).strip()
             if key:
                 data[key] = value
         return data

utilmeta/core/api/base.py

@@ -351,7 +351,6 @@ def _get_route_pattern(cls):
     @classonlymethod
     def _global_vars(cls):
         import sys
-
         return sys.modules[cls.__module__].__dict__
 
     @classonlymethod

utilmeta/core/auth/properties.py

@@ -18,6 +18,7 @@ class User(Property):
     # must be awaitable ----
     def get_user_id(self, request: Request) -> Union[str, int, Any]:
         data: Mapping = self.authentication.getter(request) or {}
+        var.user_config.setter(request, self)
         if isinstance(data, Mapping):
             user_id = data.get(self.key)
         else:
@@ -28,6 +29,7 @@ def get_user_id(self, request: Request) -> Union[str, int, Any]:
     @awaitable(get_user_id)
     async def get_user_id(self, request: Request) -> Union[str, int, Any]:
         r = self.authentication.getter(request)
+        var.user_config.setter(request, self)
         if inspect.isawaitable(r):
             r = await r
         data: Mapping = r or {}
@@ -69,6 +71,7 @@ async def get_user(self, request: Request):
 
     def getter(self, request: Request, field: ParserField = None):
         user_var = self.context_var.setup(request)
+        var.user_config.setter(request, self)
         # even if we registered factory
         # we still need to cache here
         # because parse_context will directly call getter
@@ -87,6 +90,7 @@ def getter(self, request: Request, field: ParserField = None):
     @awaitable(getter)
     async def getter(self, request: Request, field: ParserField = None):
         user_var = self.context_var.setup(request)
+        var.user_config.setter(request, self)
         if user_var.contains():
             # already cached
             # use await in async context
@@ -130,6 +134,7 @@ def __init__(
         login_time_field=None,
         login_ip_field=None,
         password_field=None,
+        last_activity_field=None,
         default=unprovided,
         required: bool = None,
         # context var
@@ -157,6 +162,7 @@ def __init__(
         self.login_time_field = login_time_field
         self.login_ip_field = login_ip_field
         self.password_field = password_field
+        self.last_activity_field = last_activity_field
         self.scopes_field = scopes_field
 
         self.field = field
@@ -187,6 +193,7 @@ def prepare_fields(self):
         self.login_time_field = self.validate_field(self.login_time_field)
         self.login_ip_field = self.validate_field(self.login_ip_field)
         self.password_field = self.validate_field(self.password_field)
+        self.last_activity_field = self.validate_field(self.last_activity_field)
         self.scopes_field = self.validate_field(self.scopes_field)
 
     def validate_field(self, f):
@@ -314,6 +321,8 @@ def get_update_data(self, request: Request, data=None):
         data = data or {}
         if self.login_time_field:
             data.update({self.login_time_field: request.time})
+        if self.last_activity_field:
+            data.update({self.last_activity_field: request.time})
         if self.login_ip_field:
             data.update({self.login_ip_field: str(request.ip_address)})
         if not data:

utilmeta/core/cli/base.py

@@ -612,6 +612,7 @@ async def _make_async_request(
         timeout: int = None,
         stream: bool = None
     ) -> Response:
+        request.adaptor.update_context(asynchronous=True)       # set flag
         if self._internal:
             service = self._service
             if not service: