{
  "timestamp": "2024-01-15T12:00:00.123Z",
  "level": "INFO",
  "service": "billing-service",
  "trace_id": "abc123def456",
  "span_id": "span-789",
  "correlation_id": "order-2024-001",
  "message": "Payment processed successfully",
  "context": {
    "account_id": "acc-123",
    "amount": 500.0,
    "payment_id": "pay-456"
  }
}

// internal/pkg/logger/logger.go
package logger

import (
    "log/slog"
    "os"
)

func New(service string, env string) *slog.Logger {
    var handler slog.Handler

    opts := &slog.HandlerOptions{
        Level: parseLevel(env),
        ReplaceAttr: func(groups []string, a slog.Attr) slog.Attr {
            // Маскирование ПДн
            switch a.Key {
            case "passport":
                v := a.Value.String()
                if len(v) > 4 {
                    a.Value = slog.StringValue("***" + v[len(v)-4:])
                }
            case "phone":
                v := a.Value.String()
                if len(v) > 4 {
                    a.Value = slog.StringValue("***" + v[len(v)-4:])
                }
            }
            return a
        },
    }

    if env == "production" {
        handler = slog.NewJSONHandler(os.Stdout, opts)
    } else {
        handler = slog.NewTextHandler(os.Stdout, opts)
    }

    return slog.New(handler).With(
        slog.String("service", service),
        slog.String("env", env),
    )
}

func parseLevel(env string) slog.Level {
    if env == "production" {
        return slog.LevelInfo
    }
    return slog.LevelDebug
}

// internal/pkg/middleware/logging.go
func LoggingMiddleware(logger *slog.Logger) func(http.Handler) http.Handler {
    return func(next http.Handler) http.Handler {
        return http.HandlerFunc(func(w http.ResponseWriter, r *http.Request) {
            ctx := r.Context()
            span := trace.SpanFromContext(ctx)

            reqLogger := logger.With(
                slog.String("trace_id", span.SpanContext().TraceID().String()),
                slog.String("span_id", span.SpanContext().SpanID().String()),
                slog.String("correlation_id", r.Header.Get("X-Correlation-ID")),
                slog.String("method", r.Method),
                slog.String("path", r.URL.Path),
            )

            start := time.Now()
            ww := middleware.NewWrapResponseWriter(w, r.ProtoMajor)
            next.ServeHTTP(ww, r.WithContext(context.WithValue(ctx, loggerKey, reqLogger)))

            reqLogger.Info("request completed",
                slog.Int("status", ww.Status()),
                slog.Duration("duration", time.Since(start)),
                slog.Int("bytes", ww.BytesWritten()),
            )
        })
    }
}

// internal/pkg/otel/setup.go
package otel

import (
    "context"
    "go.opentelemetry.io/otel"
    "go.opentelemetry.io/otel/exporters/otlp/otlptrace/otlptracegrpc"
    "go.opentelemetry.io/otel/exporters/prometheus"
    "go.opentelemetry.io/otel/propagation"
    sdkmetric "go.opentelemetry.io/otel/sdk/metric"
    sdktrace "go.opentelemetry.io/otel/sdk/trace"
    "go.opentelemetry.io/otel/sdk/resource"
    semconv "go.opentelemetry.io/otel/semconv/v1.26.0"
)

func Setup(ctx context.Context, serviceName, version string) (shutdown func(context.Context) error, err error) {
    res, _ := resource.Merge(
        resource.Default(),
        resource.NewWithAttributes(
            semconv.SchemaURL,
            semconv.ServiceName(serviceName),
            semconv.ServiceVersion(version),
            semconv.DeploymentEnvironment("production"),
        ),
    )

    // Traces → OTel Collector → Tempo
    traceExporter, _ := otlptracegrpc.New(ctx,
        otlptracegrpc.WithEndpoint("otel-collector:4317"),
        otlptracegrpc.WithInsecure(),
    )
    tp := sdktrace.NewTracerProvider(
        sdktrace.WithBatcher(traceExporter),
        sdktrace.WithResource(res),
        sdktrace.WithSampler(sdktrace.ParentBased(sdktrace.TraceIDRatioBased(0.1))), // 10% sampling
    )
    otel.SetTracerProvider(tp)
    otel.SetTextMapPropagator(propagation.NewCompositeTextMapPropagator(
        propagation.TraceContext{},
        propagation.Baggage{},
    ))

    // Metrics → Prometheus scrape
    promExporter, _ := prometheus.New()
    mp := sdkmetric.NewMeterProvider(
        sdkmetric.WithResource(res),
        sdkmetric.WithReader(promExporter),
    )
    otel.SetMeterProvider(mp)

    return func(ctx context.Context) error {
        _ = tp.Shutdown(ctx)
        _ = mp.Shutdown(ctx)
        return nil
    }, nil
}

// internal/pkg/rabbitmq/tracing.go
// Inject trace context в AMQP headers при publish
func InjectTraceContext(ctx context.Context, headers amqp.Table) amqp.Table {
    if headers == nil {
        headers = amqp.Table{}
    }
    otel.GetTextMapPropagator().Inject(ctx, &amqpHeaderCarrier{headers})
    return headers
}

// Extract trace context из AMQP headers при consume
func ExtractTraceContext(ctx context.Context, headers amqp.Table) context.Context {
    return otel.GetTextMapPropagator().Extract(ctx, &amqpHeaderCarrier{headers})
}

type amqpHeaderCarrier struct{ h amqp.Table }

func (c *amqpHeaderCarrier) Get(key string) string {
    v, ok := c.h[key]
    if !ok { return "" }
    s, _ := v.(string)
    return s
}
func (c *amqpHeaderCarrier) Set(key, value string) { c.h[key] = value }
func (c *amqpHeaderCarrier) Keys() []string {
    keys := make([]string, 0, len(c.h))
    for k := range c.h { keys = append(keys, k) }
    return keys
}

[Trace: order-2024-001] Duration: 2d 4h 15m
├── [Customer Core] Create Customer        12ms
├── [Inventory] Check Availability         45ms
├── [OMS] Create Order                     23ms
├── [FSM] Schedule Installation            180ms
│   └── [External] Wait for field work     2d 4h
├── [OMS] Process Completion               15ms
├── [Provisioning] Activate Service        1.2s
│   ├── [AAA] Create RADIUS Profile        34ms
│   ├── [Inventory] Bind Port              28ms
│   └── [NAS] Verify Session               850ms
└── [Notification] Send Welcome Email      120ms

# Critical
- alert: RadiusAuthDown
  expr: up{job="freeradius"} == 0
  for: 1m
  severity: critical
  description: 'RADIUS сервер не отвечает — абоненты не могут подключиться'

- alert: BillingQueueDepthHigh
  expr: isp_rabbitmq_queue_depth{queue="billing.q.commands"} > 10000
  for: 5m
  severity: critical
  description: 'Billing отстаёт от потока событий — возможна задержка платежей'

# High
- alert: ProvisioningErrorRateHigh
  expr: rate(isp_provisioning_errors_total[5m]) > 0.1
  for: 10m
  severity: high
  description: 'Более 10% провижининг-команд завершаются ошибкой'

- alert: OutboxBacklog
  expr: isp_outbox_pending_events > 100
  for: 10m
  severity: high
  description: 'Outbox relay отстаёт — события не публикуются в RabbitMQ'

# Medium
- alert: HighSessionCount
  expr: isp_active_sessions_total > 50000
  for: 15m
  severity: medium
  description: 'Нетипично высокое количество сессий на BRAS'

# Runbook: [Название алерта]

## Severity: critical / high

## Сервис: [billing-service / provisioning / radius / ...]

### Симптомы

- Что видит дежурный (алерт, дашборд, жалобы абонентов)

### Вероятные причины

1. [Причина 1] — как проверить
2. [Причина 2] — как проверить
3. [Причина 3] — как проверить

### Диагностика

1. Проверить дашборд: [ссылка на Grafana]
2. Проверить логи: `{service="xxx"} |= "error"` в Grafana Loki
3. Проверить трейсы: [ссылка на Tempo, фильтр по service]
4. Проверить RabbitMQ: Management UI → Queues → [queue_name]

### Действия

1. **Если [причина 1]:** [конкретные шаги]
2. **Если [причина 2]:** [конкретные шаги]
3. **Если неизвестно:** эскалация → [команда/канал]

### Эскалация

- **Через 15 мин без прогресса:** @on-call-lead
- **Через 30 мин:** @team-lead + @cto (если critical)

### После инцидента

- [ ] Заполнить postmortem
- [ ] Создать задачу на устранение root cause
- [ ] Обновить этот runbook если нужно

# Runbook: RadiusAuthDown

## Severity: critical

## Сервис: freeradius

### Симптомы

- Алерт `RadiusAuthDown` в Alertmanager
- Абоненты не могут подключиться (PPPoE/IPoE reject)
- Дашборд RADIUS: auth_total = 0

### Диагностика

1. `kubectl get pods -n radius` — pod запущен?
2. `kubectl logs -n radius freeradius-0 --tail=100` — ошибки?
3. Проверить порт 1812/UDP: `nc -zu freeradius-svc 1812`
4. Проверить связь с PostgreSQL: `kubectl exec freeradius-0 -- radiusd -XC`

### Действия

1. **Pod CrashLoopBackOff:** `kubectl describe pod` → fix config/secrets
2. **DB connection refused:** проверить PostgreSQL pod, PgBouncer
3. **OOM killed:** увеличить memory limit, проверить утечки
4. **Cert expired (если TLS):** обновить сертификаты

### Эскалация

- 5 мин без прогресса → звонок network team
- Если нужен rollback RADIUS config → @radius-admin