从大型 nfcapd 二进制文件中获取 IP 地址

Question

我需要从 nfcapd 二进制文件中获取有关源 IP 和目标 IP 的信息。问题在于文件的大小。我知道使用 io 或 os 包打开和读取非常大（超过 1 GB）的文件是不可取的。

这是我的黑客和草稿开始：

package main

import (
    "fmt"
    "time"
    "os"
    "github.com/tehmaze/netflow/netflow5"
    "log"
    "io"
    "bytes"
)

type Message interface {}

func main() {
    startTime := time.Now()
    getFile := os.Args[1]
    processFile(getFile)
    endTime := time.Since(startTime)
    log.Printf("Program executes in %s", endTime)
}

func processFile(fileName string) {
    file, err := os.Open(fileName)
    // Check if file is not empty. If it is, then exit from program
    if err != nil {
        fmt.Println(err)
        os.Exit(1)
    }

    // Useful to close file after getting information about it
    defer file.Close()
    Read(file)
}

func Read(r io.Reader) (Message, error) {
    data := [2]byte{}
    if _, err := r.Read(data[:]); err != nil {
        return nil, err
    }
    buffer := bytes.NewBuffer(data[:])
    mr := io.MultiReader(buffer, r)
    return netflow5.Read(mr)
}

我想将文件拆分为具有 24 个流的块，并在使用 netflow package 读取后并发处理它。但我无法想象如何在除法期间不丢失任何数据的情况下做到这一点。

如果我遗漏了代码或描述中的某些内容，请修复我。我花了很多时间在网上搜索我的解决方案并考虑其他可能的实现方式。

我们将不胜感激任何帮助和/或建议。

文件具有以下属性（终端中的命令file -I <file_name>）：

file_name: application/octet-stream; charset=binary

命令nfdump -r <file_name>之后的文件输出结构如下：

Date first seen          Duration Proto      Src IP Addr:Port          Dst IP Addr:Port   Packets    Bytes Flows

每个属性都在自己的列上。

更新 1： 不幸的是，由于二进制文件结构的差异，通过 nfcapd 将文件保存到磁盘后，使用 netflow 包解析文件是impossible。此答案由nfdump 贡献者中的one 给出。

现在唯一的方法是在 go 程序中从终端运行 nfdump，例如 pynfdump。

未来的另一个possible解决方案是使用gopacket。

Answer 1

IO 几乎总是解析文件时的限制因素，除非涉及大量计算，否则串行读取单个文件将是处理它的最快方法。

将文件包装在bufio.Reader 中并将其提供给Read 函数：

file, err := os.Open(fileName)
if err != nil {
    log.Fatal((err)
}
defer file.Close()

packet, err := netflow5.Read(bufio.NewReader(file))

解析完成后，如果需要单独处理块，则可以拆分记录。