企业级可观测性 · OpenTelemetry

OpenTelemetry (OTel GenAI) 标准集成指南

符合 CNCF OpenTelemetry GenAI 语义规范的分布式追踪管道。支持直接将推理 Span、Token 损耗、延迟指标与 VaaS 密码学存证凭据导出至 Datadog、Grafana Tempo 与 Honeycomb。

了解 VaaS 链上存证打开多框架代码工作台

端到端分布式 Trace 树

客户端 Span、Agent 工具调用与 BatchIn 网关推理 Span 自动对齐并编排为单一分布式 Trace 树。

标准 OTLP/HTTP 与 gRPC 协议

全面支持标准 OTLP/HTTP JSON 与 Protobuf 导出，无缝适配按 trace、按模型或按工作空间过滤。

APM 生态零代码接入

直接推送到 Datadog LLM Observability、Grafana Tempo、Honeycomb 与 Jaeger，无需任何专有适配器。

CNCF 语义约定

GenAI 规范标准字段表

BatchIn 推理网关在每个请求 Span 中自动注入以下标准属性，确保跨 APM 平台的数据兼容性。

属性名称	类型	样例值	说明
gen_ai.system	string	"batchin"	标识推理服务网关系统
gen_ai.request.model	string	"deepseek-ai/DeepSeek-V4-Pro"	请求调用的目标模型标识符
gen_ai.usage.prompt_tokens	int	412	输入 Prompt 消耗的 Token 数
gen_ai.usage.completion_tokens	int	185	生成 Completion 消耗的 Token 数
gen_ai.response.latency_ms	float	624.5	网关总往返延迟（毫秒）
gen_ai.response.ttft_ms	float	92.0	首字生成延迟（Time-To-First-Token）
gen_ai.vaas.record_id	string	"rec_98bf12"	VaaS 密码学防篡改存证记录编号
gen_ai.vaas.merkle_root	string	"0x3a4f...e109"	Base L2 链上批处理默克尔根哈希
gen_ai.agent.run_id	string	"run_prod_agent_77"	多步 Agent 会话追踪唯一编号
gen_ai.agent.step_id	string	"step_tool_fallback_03"	Agent 执行链路中的步骤编号

生产就绪配置

OpenTelemetry 采集器部署配置 (otel-collector-config.yaml)

直接复制到 Kubernetes ConfigMap 或 Docker Compose 中，实现零修改分发至 Grafana 与 Datadog

OTLP gRPC: 4317 | HTTP: 4318

# otel-collector-config.yaml
# Production OpenTelemetry Collector for BatchIn Inference Gateway

receivers:
  otlp:
    protocols:
      grpc:
        endpoint: 0.0.0.0:4317
      http:
        endpoint: 0.0.0.0:4318

processors:
  batch:
    timeout: 1s
    send_batch_size: 256
  memory_limiter:
    check_interval: 1s
    limit_percentage: 80
    spike_limit_percentage: 20

exporters:
  # 1. Export to Grafana Tempo / Honeycomb
  otlp/tempo:
    endpoint: tempo.internal:4317
    tls:
      insecure: true

  # 2. Export to Datadog LLM Observability
  datadog:
    api:
      key: "${DD_API_KEY}"
      site: datadoghq.com

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [memory_limiter, batch]
      exporters: [otlp/tempo, datadog]