一个用 Go 实现的文本切片引擎:按 分位引擎 的优先级(序号 → 编码 → 符号 → 空格 → 字词)识别切分位点, 对文本做最小粒度切分、分组条件合并、打分选优,再经过标化与去噪,最终输出结构化切片。
- 可插拔的「分位引擎」,通过工厂注册,按类别优先级排序执行
- 每个引擎遵循
Recognize → Slice → Merge → Optimize → Standardize → DeNoise流程 - 支持首轮识别失败后的「二轮识别(模糊匹配)」
- 支持括号、单位、等级词、序号连续性等领域的切分/合并规则
| 引擎 | 优先级 | 说明 | 状态 |
|---|---|---|---|
序号 ordinal |
1 | 序号位点识别、分组回溯合并、打分选优 | ✅ |
编码 code |
2 | 正则识别编码切分(如 (060.000x001)) |
✅ |
符号 semicolon |
3 | 高频分位点识别、括号/等级词/单字规则 | ✅ |
空格 blank |
4 | 连续空白切分、单位/连接符条件合并 | ✅ |
字词 word |
5 | 分位词识别与切分 | ✅ |
空 none |
- | 兜底,不做切分 | ✅ |
流程说明见 wiki,流程图见 .img/img.png。
预处理 → [ 循环分位引擎:序号→编码→符号→空格→字词 ]
→ 最小粒度 slice → 条件 merge → 打分 select
→ 标化/去噪 → 二轮识别/递归 → 后置处理 → 结果集
- Go 1.26+(模块
go.mod的go指令) - 依赖通过 Go modules 管理
go mod download命令行:
# 源码运行
go run . -text "1)、急性肝功能衰竭,(2)、急性胆囊炎;(3)、双肾结石"
# 或编译后运行
go build -o slice-engine .
./slice-engine -text "急性肝功能衰竭;急性胆囊炎;双肾结石"输出(每行一个切片):
急性肝功能衰竭
急性胆囊炎
双肾结石
作为库使用:
package main
import (
"fmt"
"slice-engine/boot"
)
func main() {
group := boot.Run("高血压;糖尿病;冠心病")
for _, item := range *group {
fmt.Println(item)
}
}go build -v ./...
go vet ./...
go test -v ./....
├── main.go # CLI 入口(-text 参数)
├── boot/ # 流水线编排、引擎状态循环、首轮/二轮识别
├── engine/ # 各分位引擎(ordinal/code/semicolon/blank/word/none/root)与工厂
├── splitter/ # 切分位点检测(序号、符号、空格)
├── entity/ # 领域类型(状态、元组、接口)
├── enums/ # 枚举(数据类型、引擎类型及优先级/互斥)
├── const/ # 常量、阈值、特殊字符集
├── utils/ # 工具(切片、字符串、分组、去噪、标化)
└── test/ # 集成/实验性测试(.gitignore 忽略)
- 序号分位引擎
- 切分位点识别
- 分组回溯合并
- 分组打分选优
- 编码分位引擎
- 正则切分识别
- 符号分位引擎
- 高频分位点识别
- 括号内/等级词/单字规则
- 条件合并与打分选优
- 空格分位引擎
- 连续空白切分
- 单位/连接符/括号条件合并
- 字词分位引擎
- 分位词识别与切分