在异常检测中存储车辆 ID

Question

我使用 Deeplearning4j 测试了异常检测，一切正常，除了我无法在训练时保留 VehicleID。在这种情况下，最好的方法是什么？

请看下面的 sn-p 代码，SparkTransformExecutor 返回一个 RDD 并且 InMemorySequence 正在获取列表时，我从 RDD 中收集列表索引不保证。

  val records:JavaRDD[util.List[util.List[Writable]]] = SparkTransformExecutor
  .executeToSequence(.....)
   val split = records.randomSplit(Array[Double](0.7,0.3))
  val testSequences = split(1)

 //in memory  sequence reader
  val testRR = new InMemorySequenceRecordReader(testSequences.collect().toList)

   val testIter = new RecordReaderMultiDataSetIterator.Builder(batchSize)
           .addSequenceReader("records", trainRR)
           .addInput("records")
          .build()

Answer 1

通常，您通过数据集中的索引来跟踪训练示例。在训练的同时跟踪数据集是车辆的哪个索引在数据集中。有很多方法可以做到这一点。

在 dl4j 中，我们通常保留原始数据并使用记录阅读器 + 转换过程来处理训练数据。如果您在原始数据上使用记录阅读器（为您的数据集选择一个，它可以是 csv 甚至是视频）并使用如下所示的记录阅读器数据集迭代器： ```java RecordReader recordReader = new CSVRecordReader(0, ','); recordReader.initialize(new FileSplit(new ClassPathResource("iris.txt").getFile())); int labelIndex = 4; int numClasses = 3; int batchSize = 150;

    RecordReaderDataSetIterator iterator = new RecordReaderDataSetIterator(recordReader,batchSize,labelIndex,numClasses);
    iterator.setCollectMetaData(true);  //Instruct the iterator to collect metadata, and store it in the DataSet objects
    DataSet allData = iterator.next();


    DataSet trainingData = testAndTrain.getTrain();
    DataSet testData = testAndTrain.getTest();

```

（此处为完整代码）： https://github.com/deeplearning4j/dl4j-examples/blob/master/dl4j-examples/src/main/java/org/deeplearning4j/examples/dataexamples/CSVExampleEvaluationMetaData.java

除此之外，您还可以使用 TransformProcess：

```

   //Let's define the schema of the data that we want to import
    //The order in which columns are defined here should match the 
    //order in which they appear in the input data
    Schema inputDataSchema = new Schema.Builder()
        //We can define a single column
        .addColumnString("DateTimeString")

.... 。建造（）; //在每一步，我们通过我们在
中给出的名称来识别列 输入数据架构，上面

TransformProcess tp = new TransformProcess.Builder(inputDataSchema)
//your transforms go here

    .build();

```

下面的完整示例：

https://github.com/deeplearning4j/dl4j-examples/blob/6967b2ec2d51b0d19b5d6437763a2936ca922a0a/datavec-examples/src/main/java/org/datavec/transform/basic/BasicDataVecExampleLocal.java

如果您使用这些东西，您可以自定义保持数据不变，但拥有完整的数据管道。有很多方法可以做到这一点，只要记住你从车辆 id 开始，它不必消失。