log - Githubissues

zking2000 commented 1 month ago

receivers:
  filelog:
    include: [ /var/log/nginx/access.log, /var/log/nginx/error.log ]
    operators:
      - type: regex_parser
        regex: '^(?P<remote_addr>\S+) - (?P<remote_user>\S+) \[(?P<time_local>.*?)\] "(?P<request>.*?)" (?P<status>\d+) (?P<body_bytes_sent>\d+) "(?P<http_referer>.*?)" "(?P<http_user_agent>.*?)"$'
        timestamp:
          parse_from: time_local
          layout: '02/Jan/2006:15:04:05 -0700'

processors:
  # 添加必要的处理器

exporters:
  otlp:
    endpoint: tempo.grafana-stack:4317
    tls:
      insecure: true

service:
  pipelines:
    logs:
      receivers: [filelog]
      processors: [your_processors_here]
      exporters: [otlp]

zking2000 commented 1 month ago

根据您提供的配置和错误信息，问题似乎出在配置文件的解析上。让我们逐步分析并尝试解决这些问题：

'receivers' 解码错误：您的 receivers 配置看起来基本正确，但可能需要一些调整。
'operators[0]' 解码错误：正则表达式看起来很复杂，可能需要进行转义或格式调整。
'timestamp' 和 'parse_from' 解码错误：时间戳配置可能需要调整格式。
未识别的前缀：这可能是由于某些字段名称或值不被识别。

建议的修改：

receivers:
  filelog:
    include: ["/var/log/nginx/access.log", "/var/log/nginx/error.log"]
    operators:
      - type: regex_parser
        regex: '^(?P<remote_addr>\S+) - (?P<remote_user>\S+) \[(?P<time_local>[^\]]+)\] "(?P<request>[^"]*)" (?P<status>\d+) (?P<body_bytes_sent>\d+) "(?P<http_referer>[^"]*)" "(?P<http_user_agent>[^"]*)"$'
        timestamp:
          parse_from: time_local
          layout_type: gotime
          layout: '02/Jan/2006:15:04:05 -0700'

processors:
  # 请确保这里列出了所有必要的处理器
  # 例如：batch, memory_limiter 等

exporters:
  otlp:
    endpoint: "tempo.grafana-stack:4317"
    tls:
      insecure: true

service:
  pipelines:
    logs:
      receivers: [filelog]
      processors: [batch, memory_limiter]  # 替换为您实际使用的处理器
      exporters: [otlp]

关键修改：

在 include 中的路径添加了引号。
调整了正则表达式，使用 [^\]] 来匹配非']'字符，避免潜在的歧义。
在 timestamp 配置中添加了 layout_type: gotime。
确保在 processors 和 service.pipelines.logs.processors 中列出了所有必要的处理器。

建议：

确保配置文件的格式（缩进等）完全正确。YAML 对格式很敏感。
验证文件路径 /var/log/nginx/access.log 和 /var/log/nginx/error.log 是否存在且有正确的读取权限。
检查 tempo.grafana-stack:4317 是否是正确的端点地址。
如果问题仍然存在，可以尝试逐步简化配置，然后逐渐添加复杂性，以找出具体哪部分导致了问题。

如果按照这些修改后仍然遇到问题，可能需要查看更详细的日志输出或考虑OpenTelemetry Collector的版本兼容性问题。

zking2000 commented 1 month ago

基于之前的讨论和您遇到的问题，我为您提供一个经过修改和简化的OpenTelemetry Collector配置。这个配置尝试解决了您遇到的主要问题，同时保持了基本功能。请尝试使用以下配置：

receivers:
  filelog:
    include: ["/var/log/nginx/access.log"]
    start_at: beginning
    operators:
      - type: regex_parser
        regex: '^(?P<remote_addr>\S+) - (?P<remote_user>\S+) \[(?P<time_local>[^\]]+)\] "(?P<request>[^"]*)" (?P<status>\d+) (?P<body_bytes_sent>\d+) "(?P<http_referer>[^"]*)" "(?P<http_user_agent>[^"]*)"$'
        timestamp:
          parse_from: time_local
          layout_type: strptime
          layout: '%d/%b/%Y:%H:%M:%S %z'

processors:
  batch:

exporters:
  otlp:
    endpoint: "tempo.grafana-stack:4317"
    tls:
      insecure: true

service:
  telemetry:
    logs:
      level: debug
  pipelines:
    logs:
      receivers: [filelog]
      processors: [batch]
      exporters: [otlp]

这个配置做了以下修改：

简化了 filelog 接收器配置，只包含一个日志文件。
调整了正则表达式和时间戳解析方式。
使用 strptime 布局类型来解析时间戳，这通常更可靠。
添加了一个简单的 batch 处理器。
保留了OTLP导出器配置。
在服务配置中启用了调试级别的日志。

使用说明：

将此配置保存为 YAML 文件（例如 otel-config.yaml）。
确保 OpenTelemetry Collector 有权限读取 /var/log/nginx/access.log 文件。
使用以下命令启动 Collector（假设可执行文件名为 otelcol）：
```
otelcol --config otel-config.yaml
```
观察输出日志，查看是否还有任何错误。

如果仍然遇到问题，请提供详细的错误信息。可能需要进一步调整配置或检查系统环境（如文件权限、网络设置等）。另外，确保您使用的是最新稳定版本的 OpenTelemetry Collector，因为某些配置选项可能在不同版本之间有变化。

zking2000 commented 1 month ago

http {
  log_format json_analytics escape=json '{ "time_local": "$time_local", '
                                        '"remote_addr": "$remote_addr", '
                                        '"request": "$request", '
                                        '"status": "$status", '
                                        '"body_bytes_sent": "$body_bytes_sent", '
                                        '"http_referer": "$http_referer", '
                                        '"http_user_agent": "$http_user_agent" }';

  access_log syslog:server=localhost:5140,facility=local7,tag=nginx,severity=info json_analytics;
}

zking2000 commented 1 month ago

http {
    log_format main '$remote_addr - $remote_user [$time_local] "$request" '
                    '$status $body_bytes_sent "$http_referer" '
                    '"$http_user_agent" "$http_x_forwarded_for"';

    log_format json_analytics escape=json '{ "time_local": "$time_local", '
                                           '"remote_addr": "$remote_addr", '
                                           '"request": "$request", '
                                           '"status": "$status", '
                                           '"body_bytes_sent": "$body_bytes_sent", '
                                           '"http_referer": "$http_referer", '
                                           '"http_user_agent": "$http_user_agent" }';

    # 本地文件日志
    access_log /var/log/nginx/access.log main;
    error_log /var/log/nginx/error.log;

    # Syslog 日志
    access_log syslog:server=localhost:5140,facility=local7,tag=nginx,severity=info json_analytics;

    # ... 其他 Nginx 配置 ...
}

zking2000 / NotePad

log #69