为 Huggingface Smolagents 解锁全面可检查性：使用 Opentelemetry 的分步指南！

Rifx.Online
Large Language Models , MLOps , Best Practices
23 Feb, 2025

检查AI代理运行可能是一项挑战，没有完整的可检查性，AI代理环境是不完整的

你为什么应该记录你的代理运行？

传统的预定义图形方法需要将用户请求匹配到最接近的意图，限制了运行在特定流程路径上。

当用户偏离这些预定义路径时，用户体验会下降，这通常被视为超出领域。

另一方面，AI代理实时动态生成链，提供更高水平的灵活性和自主性。

为了确保透明度，全面了解AI代理的决策链和节点至关重要。映射AI代理路径的遥测有助于有效识别延迟问题或错误。

原始日志可能难以解释，但交互式可视化表示简化了探索和调试。

为了标准化仪器，HuggingFace使用OpenTelemetry。

OpenTelemetry允许您无缝集成仪器层，像往常一样运行您的代理，并自动将所有内容记录到您的平台。

入门指南

首先，安装必要的包。在这个例子中，HuggingFace 使用 Phoenix by Arize AI，这是一个强大的工具，用于收集和检查日志。

然而，任何 OpenTelemetry 兼容的平台 都可以用于此目的。

pip install smolagents
pip install arize-phoenix opentelemetry-sdk opentelemetry-exporter-otlp openinference-instrumentation-smolagents

然后可以启动 Phoenix 服务器，并通过浏览器访问……

python -m phoenix.server.main serve

下面是终端的视图……

与 LangChain 和 LangSmith 类似，需要在你的 Python 脚本中添加一小段代码，如下所示。这让我想起了 LangChain 在 LangChain 应用中添加 LangSmith 监控的方式。

from opentelemetry import trace
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor

from openinference.instrumentation.smolagents import SmolagentsInstrumentor
from opentelemetry.exporter.otlp.proto.http.trace_exporter import OTLPSpanExporter
from opentelemetry.sdk.trace.export import ConsoleSpanExporter, SimpleSpanProcessor

endpoint = "http://0.0.0.0:6006/v1/traces"
trace_provider = TracerProvider()
trace_provider.add_span_processor(SimpleSpanProcessor(OTLPSpanExporter(endpoint)))

SmolagentsInstrumentor().instrument(tracer_provider=trace_provider)

如果你喜欢这篇文章

以下是完整的 AI 代理代码，可以复制并粘贴到单个 Python 文件中。

from opentelemetry import trace
from opentelemetry.sdk.trace import TracerProvider
from opentelemetry.sdk.trace.export import BatchSpanProcessor

from openinference.instrumentation.smolagents import SmolagentsInstrumentor
from opentelemetry.exporter.otlp.proto.http.trace_exporter import OTLPSpanExporter
from opentelemetry.sdk.trace.export import ConsoleSpanExporter, SimpleSpanProcessor

endpoint = "http://0.0.0.0:6006/v1/traces"
trace_provider = TracerProvider()
trace_provider.add_span_processor(SimpleSpanProcessor(OTLPSpanExporter(endpoint)))

SmolagentsInstrumentor().instrument(tracer_provider=trace_provider)

from typing import Optional

from smolagents import HfApiModel, LiteLLMModel, TransformersModel, tool
from smolagents.agents import CodeAgent, ToolCallingAgent

available_inferences = ["hf_api", "transformers", "ollama", "litellm"]
chosen_inference = "transformers"

print(f"选择的模型: '{chosen_inference}'")

if chosen_inference == "hf_api":
    model = HfApiModel(model_id="meta-llama/Llama-3.3-70B-Instruct")

elif chosen_inference == "transformers":
    model = TransformersModel(model_id="HuggingFaceTB/SmolLM2-1.7B-Instruct", device_map="auto", max_new_tokens=1000)

elif chosen_inference == "ollama":
    model = LiteLLMModel(
        model_id="ollama_chat/llama3.2",
        api_base="http://localhost:11434",  
        api_key="your-api-key",  
        num_ctx=8192,  
    )

elif chosen_inference == "litellm":
    model = LiteLLMModel(model_id="gpt-4o")

@tool
def get_weather(location: str, celsius: Optional[bool] = False) -> str:
    """
    获取给定地点未来几天的天气。
    这个工具其实并不在乎地点，它讨厌任何地方的天气。

    Args:
        location: 地点
        celsius: 温度
    """
    return "天气非常糟糕，暴雨倾盆，气温低于 -10°C"

agent = ToolCallingAgent(tools=[get_weather], model=model)

print("ToolCallingAgent:", agent.run("巴黎的天气怎么样？"))

agent = CodeAgent(tools=[get_weather], model=model)

print("CodeAgent:", agent.run("巴黎的天气怎么样？"))