Skip to content

About

文本切片引擎:按序号、编码、符号、空格、字词的优先级定位切分位。

Resources

Stars

0 stars

Watchers

1 watching

Forks

Latest commit

 

History

17 Commits

Folders and files

Repository files navigation

slice-engine

一个用 Go 实现的文本切片引擎:按 分位引擎 的优先级(序号 → 编码 → 符号 → 空格 → 字词)识别切分位点, 对文本做最小粒度切分、分组条件合并、打分选优,再经过标化与去噪,最终输出结构化切片。

特性

  • 可插拔的「分位引擎」,通过工厂注册,按类别优先级排序执行
  • 每个引擎遵循 Recognize → Slice → Merge → Optimize → Standardize → DeNoise 流程
  • 支持首轮识别失败后的「二轮识别(模糊匹配)」
  • 支持括号、单位、等级词、序号连续性等领域的切分/合并规则

分位引擎

引擎 优先级 说明 状态
序号 ordinal 1 序号位点识别、分组回溯合并、打分选优 ✅
编码 code 2 正则识别编码切分(如 (060.000x001)) ✅
符号 semicolon 3 高频分位点识别、括号/等级词/单字规则 ✅
空格 blank 4 连续空白切分、单位/连接符条件合并 ✅
字词 word 5 分位词识别与切分 ✅
空 none - 兜底,不做切分 ✅

架构

流程说明见 wiki,流程图见 .img/img.png。

预处理 → [ 循环分位引擎:序号→编码→符号→空格→字词 ]
       → 最小粒度 slice → 条件 merge → 打分 select
       → 标化/去噪 → 二轮识别/递归 → 后置处理 → 结果集

环境要求

  • Go 1.26+(模块 go.mod 的 go 指令)
  • 依赖通过 Go modules 管理

安装

go mod download

使用

命令行:

# 源码运行
go run . -text "1)、急性肝功能衰竭,(2)、急性胆囊炎;(3)、双肾结石"

# 或编译后运行
go build -o slice-engine .
./slice-engine -text "急性肝功能衰竭;急性胆囊炎;双肾结石"

输出(每行一个切片):

急性肝功能衰竭
急性胆囊炎
双肾结石

作为库使用:

package main

import (
	"fmt"

	"slice-engine/boot"
)

func main() {
	group := boot.Run("高血压;糖尿病;冠心病")
	for _, item := range *group {
		fmt.Println(item)
	}
}

构建与测试

go build -v ./...
go vet ./...
go test -v ./...

目录结构

.
├── main.go          # CLI 入口(-text 参数)
├── boot/            # 流水线编排、引擎状态循环、首轮/二轮识别
├── engine/          # 各分位引擎(ordinal/code/semicolon/blank/word/none/root)与工厂
├── splitter/        # 切分位点检测(序号、符号、空格)
├── entity/          # 领域类型(状态、元组、接口)
├── enums/           # 枚举(数据类型、引擎类型及优先级/互斥)
├── const/           # 常量、阈值、特殊字符集
├── utils/           # 工具(切片、字符串、分组、去噪、标化)
└── test/            # 集成/实验性测试(.gitignore 忽略)

项目进度

  • 序号分位引擎
    • 切分位点识别
    • 分组回溯合并
    • 分组打分选优
  • 编码分位引擎
    • 正则切分识别
  • 符号分位引擎
    • 高频分位点识别
    • 括号内/等级词/单字规则
    • 条件合并与打分选优
  • 空格分位引擎
    • 连续空白切分
    • 单位/连接符/括号条件合并
  • 字词分位引擎
    • 分位词识别与切分

About

文本切片引擎:按序号、编码、符号、空格、字词的优先级定位切分位。

Resources

Stars

0 stars

Watchers

1 watching

Forks

Releases

Packages

Used by

Contributors

Languages