将任何文档转化为人工智能就绪的 Markdown：微软 MarkItDown + Azure OpenAI 指南

Rifx.Online
Programming , Technology , Machine Learning
26 Dec, 2024

开发者的实用指南：使用微软最新的开源工具与 Azure OpenAI 集成，将 PDF、Office 文件和图像转换为干净的 Markdown

微软的 MarkItDown 是一款由 AutoGen 团队开发的新开源工具，可以将各种文档格式转换为 Markdown。虽然该工具可以独立工作，但将其与 Azure OpenAI 集成可以增强其功能，特别是在图像处理任务方面。

为什么 MarkItDown 重要

文档处理与人工智能的交集带来了独特的挑战。传统文档格式在将数据输入机器学习模型时往往会造成障碍。MarkItDown 通过提供一种统一的方法，将这些格式转换为 Markdown，这是一种轻量级的标记语言，已成为数字时代文本格式化的事实标准。

验证的功能

根据官方文档，MarkItDown 支持：

文档格式：PDF、PowerPoint、Word、Excel
媒体文件：图像（带 EXIF & OCR）、音频（带 EXIF & 转录）
网页内容：HTML
数据格式：CSV、JSON、XML
压缩文件：ZIP 文件

Azure OpenAI 集成

当您需要高级功能，特别是图像描述时，Azure OpenAI 集成增加了另一层智能。以下是基于官方文档的与 Azure OpenAI 集成的验证方法：

from markitdown import MarkItDown
from openai import AzureOpenAI
import os

## Initialize Azure OpenAI client
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_KEY"),
    azure_endpoint=os.getenv("AZURE_OPENAI_ENDPOINT"),
    api_version="2024-02-15-preview"
)

## Initialize MarkItDown with Azure OpenAI
md = MarkItDown(
    llm_client=client,
    llm_model="deployment-name"  # Your Azure OpenAI deployment name
)

## Process a document with AI capabilities
result = md.convert("image-with-text.jpg")
print(result.text_content)

重要的验证说明

LLM 集成范围

确认：LLM 功能主要用于图像描述生成
不需要：用于基本文档转换任务

Azure OpenAI 要求

有效的 Azure 订阅
Azure OpenAI 服务访问
在您的 Azure 资源中部署的模型
适当的 API 权限

安全最佳实践

使用环境变量存储凭据
实施适当的错误处理
遵循 Azure 的安全指南

批处理示例

此批处理示例已通过官方库验证。为了高效处理多个文档：

import os
from markitdown import MarkItDown
from openai import AzureOpenAI

## Initialize with Azure OpenAI (if needed)
client = AzureOpenAI(
    api_key=os.getenv("AZURE_OPENAI_KEY"),
    azure_endpoint=os.getenv("AZURE_OPENAI_ENDPOINT"),
    api_version="2024-02-15-preview"
)

md = MarkItDown(
    llm_client=client,
    llm_model=os.getenv("AZURE_OPENAI_DEPLOYMENT")
)

## Define supported formats
supported_extensions = ('.pptx', '.docx', '.pdf', '.jpg', '.jpeg', '.png')
files_to_convert = [f for f in os.listdir('.') 
                   if f.lower().endswith(supported_extensions)]

## Process each file
for file in files_to_convert:
    print(f"\nProcessing: {file}")
    try:
        result = md.convert(file)
        output_file = f"{os.path.splitext(file)[0]}.md"
        with open(output_file, 'w') as f:
            f.write(result.text_content)
        print(f"Success: Created {output_file}")
    except Exception as e:
        print(f"Error processing {file}: {str(e)}")