From 2da0a947507d26eac911956f1184e26a80231ce6 Mon Sep 17 00:00:00 2001 From: brian Date: Fri, 7 Oct 2022 16:23:49 +0200 Subject: [PATCH] Add jenkinsfile for pipeline build and dockerfile for build Signed-off-by: brian --- .jenkins/linux-x86_64-cpu-build.jenkinsfile | 2 +- .../org/datavec/image/transform/ColorConversionTransform.java | 2 ++ .../java/org/datavec/image/transform/CropImageTransform.java | 2 ++ .../java/org/datavec/image/transform/EqualizeHistTransform.java | 2 ++ .../java/org/datavec/image/transform/FilterImageTransform.java | 2 ++ .../java/org/datavec/image/transform/ResizeImageTransform.java | 2 ++ .../java/org/datavec/image/transform/RotateImageTransform.java | 2 ++ .../java/org/datavec/image/transform/ScaleImageTransform.java | 2 ++ .../java/org/datavec/image/transform/ShowImageTransform.java | 2 ++ .../java/org/datavec/image/transform/WarpImageTransform.java | 2 ++ .../src/main/java/org/nd4j/linalg/api/ops/DynamicCustomOp.java | 1 + .../src/main/java/org/deeplearning4j/BaseDL4JTest.java | 2 ++ .../test/java/org/deeplearning4j/datasets/MnistFetcherTest.java | 2 ++ 13 files changed, 24 insertions(+), 1 deletion(-) diff --git a/.jenkins/linux-x86_64-cpu-build.jenkinsfile b/.jenkins/linux-x86_64-cpu-build.jenkinsfile index 05da2153d..d57d033d4 100644 --- a/.jenkins/linux-x86_64-cpu-build.jenkinsfile +++ b/.jenkins/linux-x86_64-cpu-build.jenkinsfile @@ -56,7 +56,7 @@ pipeline { steps { withGradle { - sh 'sh ./gradlew test --stacktrace -PCAVIS_CHIP=cpu \ + sh 'sh ./gradlew test --stacktrace -PexcludeTests=\'long-running,performance\' -PCAVIS_CHIP=cpu \ -Pmavenuser=$MAVEN_USR -Pmavenpass=$MAVEN_PSW \ -PossrhUsername=$OSSRH_USR -PossrhPassword=$OSSRH_PSW' } diff --git a/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/ColorConversionTransform.java b/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/ColorConversionTransform.java index fe83aef22..b05ead826 100644 --- a/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/ColorConversionTransform.java +++ b/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/ColorConversionTransform.java @@ -21,6 +21,7 @@ package org.datavec.image.transform; import lombok.Data; +import lombok.EqualsAndHashCode; import org.bytedeco.javacv.OpenCVFrameConverter; import org.datavec.image.data.ImageWritable; import com.fasterxml.jackson.annotation.JsonInclude; @@ -33,6 +34,7 @@ import static org.bytedeco.opencv.global.opencv_imgproc.*; @JsonInclude(JsonInclude.Include.NON_NULL) @Data +@EqualsAndHashCode(callSuper = false) public class ColorConversionTransform extends BaseImageTransform { /** diff --git a/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/CropImageTransform.java b/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/CropImageTransform.java index 5fe2a3a3b..14ceeeefe 100644 --- a/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/CropImageTransform.java +++ b/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/CropImageTransform.java @@ -21,6 +21,7 @@ package org.datavec.image.transform; import lombok.Data; +import lombok.EqualsAndHashCode; import org.bytedeco.javacv.OpenCVFrameConverter; import org.datavec.image.data.ImageWritable; import com.fasterxml.jackson.annotation.JsonInclude; @@ -32,6 +33,7 @@ import org.bytedeco.opencv.opencv_core.*; @JsonInclude(JsonInclude.Include.NON_NULL) @Data +@EqualsAndHashCode(callSuper = false) public class CropImageTransform extends BaseImageTransform { private int cropTop; diff --git a/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/EqualizeHistTransform.java b/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/EqualizeHistTransform.java index 3704d97d8..a7db09477 100644 --- a/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/EqualizeHistTransform.java +++ b/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/EqualizeHistTransform.java @@ -21,6 +21,7 @@ package org.datavec.image.transform; import lombok.Data; +import lombok.EqualsAndHashCode; import org.bytedeco.javacv.OpenCVFrameConverter; import org.datavec.image.data.ImageWritable; import com.fasterxml.jackson.annotation.JsonIgnoreProperties; @@ -36,6 +37,7 @@ import static org.bytedeco.opencv.global.opencv_imgproc.*; @JsonIgnoreProperties({"splitChannels", "converter"}) @JsonInclude(JsonInclude.Include.NON_NULL) @Data +@EqualsAndHashCode(callSuper = false) public class EqualizeHistTransform extends BaseImageTransform { /** diff --git a/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/FilterImageTransform.java b/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/FilterImageTransform.java index 1120bcef6..3f1c4c493 100644 --- a/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/FilterImageTransform.java +++ b/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/FilterImageTransform.java @@ -21,6 +21,7 @@ package org.datavec.image.transform; import lombok.Data; +import lombok.EqualsAndHashCode; import org.bytedeco.javacv.FFmpegFrameFilter; import org.bytedeco.javacv.FrameFilter; import org.datavec.image.data.ImageWritable; @@ -35,6 +36,7 @@ import static org.bytedeco.ffmpeg.global.avutil.*; @JsonIgnoreProperties({"filter", "converter"}) @JsonInclude(JsonInclude.Include.NON_NULL) @Data +@EqualsAndHashCode(callSuper = false) public class FilterImageTransform extends BaseImageTransform { private FFmpegFrameFilter filter; diff --git a/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/ResizeImageTransform.java b/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/ResizeImageTransform.java index 565bd0d32..6e28b9e05 100644 --- a/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/ResizeImageTransform.java +++ b/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/ResizeImageTransform.java @@ -21,6 +21,7 @@ package org.datavec.image.transform; import lombok.Data; +import lombok.EqualsAndHashCode; import org.bytedeco.javacv.OpenCVFrameConverter; import org.datavec.image.data.ImageWritable; import com.fasterxml.jackson.annotation.JsonInclude; @@ -34,6 +35,7 @@ import static org.bytedeco.opencv.global.opencv_imgproc.*; @JsonInclude(JsonInclude.Include.NON_NULL) @Data +@EqualsAndHashCode(callSuper = false) public class ResizeImageTransform extends BaseImageTransform { private int newHeight; diff --git a/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/RotateImageTransform.java b/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/RotateImageTransform.java index 8be9359ed..d4d55d777 100644 --- a/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/RotateImageTransform.java +++ b/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/RotateImageTransform.java @@ -21,6 +21,7 @@ package org.datavec.image.transform; import lombok.Data; +import lombok.EqualsAndHashCode; import lombok.Getter; import lombok.Setter; import lombok.experimental.Accessors; @@ -43,6 +44,7 @@ import static org.bytedeco.opencv.global.opencv_imgproc.*; @JsonIgnoreProperties({"interMode", "borderMode", "borderValue", "converter"}) @JsonInclude(JsonInclude.Include.NON_NULL) @Data +@EqualsAndHashCode(callSuper = false) public class RotateImageTransform extends BaseImageTransform { private float centerx; diff --git a/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/ScaleImageTransform.java b/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/ScaleImageTransform.java index c2c70a874..040c27772 100644 --- a/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/ScaleImageTransform.java +++ b/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/ScaleImageTransform.java @@ -21,6 +21,7 @@ package org.datavec.image.transform; import lombok.Data; +import lombok.EqualsAndHashCode; import org.bytedeco.javacv.OpenCVFrameConverter; import org.datavec.image.data.ImageWritable; import com.fasterxml.jackson.annotation.JsonInclude; @@ -34,6 +35,7 @@ import static org.bytedeco.opencv.global.opencv_imgproc.*; @JsonInclude(JsonInclude.Include.NON_NULL) @Data +@EqualsAndHashCode(callSuper = false) public class ScaleImageTransform extends BaseImageTransform { private float dx; diff --git a/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/ShowImageTransform.java b/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/ShowImageTransform.java index 272e2768d..6bc19cba2 100644 --- a/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/ShowImageTransform.java +++ b/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/ShowImageTransform.java @@ -21,6 +21,7 @@ package org.datavec.image.transform; import lombok.Data; +import lombok.EqualsAndHashCode; import org.bytedeco.javacv.CanvasFrame; import org.bytedeco.javacv.Frame; import org.datavec.image.data.ImageWritable; @@ -29,6 +30,7 @@ import javax.swing.*; import java.util.Random; @Data +@EqualsAndHashCode(callSuper = false) public class ShowImageTransform extends BaseImageTransform { CanvasFrame canvas; diff --git a/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/WarpImageTransform.java b/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/WarpImageTransform.java index f55369a6e..aeed3ce97 100644 --- a/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/WarpImageTransform.java +++ b/cavis-datavec/cavis-datavec-data/cavis-datavec-data-image/src/main/java/org/datavec/image/transform/WarpImageTransform.java @@ -21,6 +21,7 @@ package org.datavec.image.transform; import lombok.Data; +import lombok.EqualsAndHashCode; import lombok.Getter; import lombok.Setter; import lombok.experimental.Accessors; @@ -43,6 +44,7 @@ import static org.bytedeco.opencv.global.opencv_imgproc.*; @JsonIgnoreProperties({"interMode", "borderMode", "borderValue", "converter"}) @JsonInclude(JsonInclude.Include.NON_NULL) @Data +@EqualsAndHashCode(callSuper = false) public class WarpImageTransform extends BaseImageTransform { private float[] deltas; diff --git a/cavis-dnn/cavis-dnn-api/src/main/java/org/nd4j/linalg/api/ops/DynamicCustomOp.java b/cavis-dnn/cavis-dnn-api/src/main/java/org/nd4j/linalg/api/ops/DynamicCustomOp.java index 36e6982a0..14b736898 100644 --- a/cavis-dnn/cavis-dnn-api/src/main/java/org/nd4j/linalg/api/ops/DynamicCustomOp.java +++ b/cavis-dnn/cavis-dnn-api/src/main/java/org/nd4j/linalg/api/ops/DynamicCustomOp.java @@ -52,6 +52,7 @@ public class DynamicCustomOp extends DifferentialFunction implements CustomOp { private String opName; @Builder.Default protected List inputArguments = new ArrayList<>(); + @Builder.Default protected List outputArguments = new ArrayList<>(); diff --git a/cavis-dnn/cavis-dnn-common-tests/src/main/java/org/deeplearning4j/BaseDL4JTest.java b/cavis-dnn/cavis-dnn-common-tests/src/main/java/org/deeplearning4j/BaseDL4JTest.java index 0dcd1fe08..cfaae7561 100644 --- a/cavis-dnn/cavis-dnn-common-tests/src/main/java/org/deeplearning4j/BaseDL4JTest.java +++ b/cavis-dnn/cavis-dnn-common-tests/src/main/java/org/deeplearning4j/BaseDL4JTest.java @@ -26,6 +26,7 @@ import org.bytedeco.javacpp.Pointer; import org.junit.jupiter.api.AfterEach; import org.junit.jupiter.api.Assumptions; import org.junit.jupiter.api.BeforeEach; +import org.junit.jupiter.api.Timeout; import org.nd4j.common.base.Preconditions; import org.nd4j.common.config.ND4JSystemProperties; import org.nd4j.linalg.api.buffer.DataType; @@ -42,6 +43,7 @@ import java.util.Map; import java.util.Properties; @Slf4j +@Timeout(60*10) public abstract class BaseDL4JTest { protected long startTime; diff --git a/cavis-dnn/cavis-dnn-core/src/test/java/org/deeplearning4j/datasets/MnistFetcherTest.java b/cavis-dnn/cavis-dnn-core/src/test/java/org/deeplearning4j/datasets/MnistFetcherTest.java index f45a76fe7..c63e4ac7d 100644 --- a/cavis-dnn/cavis-dnn-core/src/test/java/org/deeplearning4j/datasets/MnistFetcherTest.java +++ b/cavis-dnn/cavis-dnn-core/src/test/java/org/deeplearning4j/datasets/MnistFetcherTest.java @@ -27,6 +27,7 @@ import org.deeplearning4j.datasets.iterator.impl.MnistDataSetIterator; import org.junit.jupiter.api.AfterAll; import org.junit.jupiter.api.BeforeAll; import org.junit.jupiter.api.Test; +import org.junit.jupiter.api.TestInstance; import org.junit.jupiter.api.io.TempDir; import org.nd4j.linalg.api.ndarray.INDArray; import org.nd4j.linalg.api.ops.impl.reduce.longer.MatchCondition; @@ -44,6 +45,7 @@ import static org.junit.jupiter.api.Assertions.assertFalse; import static org.junit.jupiter.api.Assertions.assertTrue; @org.junit.jupiter.api.Timeout(300) +@TestInstance(TestInstance.Lifecycle.PER_CLASS) public class MnistFetcherTest extends BaseDL4JTest { @TempDir