PDF to markdown

[cobaltautomationdev]

@SWHL 兄弟你可以帮忙研究下将PDF转换为markdown？ 目前我用的库是marker。它也挺厉害的。，只不过偶尔会丢失PDF顶端的一些文字。但是如果你也可以rapidocrpdf开发一个转换pdf to markdown工具就完美了。之所以要转换为Markdown，因为我发现现在的AI对markdown的理解非常的准确。 markdown保留了基本的表格格式。 而AI 又可以从markdown很好的理解Layout。所以提取数据简直可以做到完美。 目前我主要是处理发票，我发现准确度基本可以媲美专业的ABBYY OCR商业软件。 无需训练，通过AI都可以完美提取。

            user_prompt = f"Here is the Markdown content containing order details:\n{md_content}"
            messages = [{"role": "system", "content": system_prompt},
                        {"role": "user", "content": user_prompt}]
            response = client.chat.completions.create(
                model="deepseek-chat",
                messages=messages,
                response_format={
                    'type': 'json_object'
                },
                max_tokens=6666,
            )
            result = json.loads(response.choices[0].message.content)
            json_file_path = os.path.join(pdf_dir, f'{pdf_file_name}.json')

如下是我的system prompt

Output a valid JSON object only. No extra text allowed.
IMPORTANT: Extract the following details from the provided invoice content:

1. Invoice Number
2. Invoice Date (format: YYYY-MM-DD)
3. Invoice Amount (as a number)
4. Currency Unit (e.g., USD, CNY).
   If you encounter a potentially incorrect currency unit code,
   attempt to correct it to the most likely standard ISO 4217 currency code.
5. Entity
6. Account Number
7. Vendor name

Output in this JSON format:
{
"Version": "3.0",
"Fields": {
"InvoiceNumber": "string",
"InvoiceDate": "YYYY-MM-DD",
"InvoiceAmount": "number",
"CurrencyUnit": "string",
"Entity": "string",
"AccountNumber": "string",
"VendorName": "string"
}
}

Replace placeholders with actual values. Use null for missing fields.

[SWHL]

这个现在有很多现有工具了呀。我们之前就做过一个PDF转换的： RapidDoc。现在搁置了，暂时没有精力。

[cobaltautomationdev]

工具很多，真的很能打的太少了。 目前用的Marker算是很好的了，集成了OCR，版面分析，大模型。 其他的比如MinerU（它的OCR好像用到了你的Rapidocr),MinerU markitdown等等暂时没有发现一个能打的。

[SWHL]

MinerU用到了RapidOCR和RapidTable。哈哈哈哈。
等我适配完OCR这里，着手来开发RapidDoc，看看PDF to markdown这块。
欢迎持续关注我们。