JAVA Deeplearning4j library로 딥러닝 해보기

[분석AI서비스팀 전소희] AI 기술이 나날이 진화함에 따라 엔터테인먼트, 미디어, 전자상거래, 의료, 교육, 제조 등 다양한 산업군에 계속해서 AI 활용도가 증가하고 있습니다.

웹서비스 개발자로써 그동안 java를 백엔드 언어로 사용해왔는데, 현재 가장 핫이슈인 AI모델을 java로 어떻게 딥러닝할 수 있을까? java로도 가능하다면 왜 모델 개발에 python이 더 유리할까? 다양한 질문에 대해 리서치해보았습니다.

첫번째. java 오픈소스 라이브러리를 이용한 딥러닝 개발 방법

java에서는 다음과 같은 몇 가지 라이브러리와 프레임워크로 딥러닝 모델을 만들고 훈련할 수 있도록 지원합니다. 그 중 주목할만한 java 기반 딥러닝 프레임워크는 다음과 같습니다.

1. Deeplearning4j: Deeplearning4j는 java에서 딥러닝 모델을 구축하기 위한 오픈 소스 라이브러리입니다. DL4J는 JVM 상에서 실행되며, 분산형 딥러닝을 위한 기능도 제공합니다.
2. Neuroph: Neuroph는 java로 구현된 오픈소스 라이브러리로서, 인공신경망을 구축하고 훈련할 수 있습니다. 주로 간단한 신경망 및 기계 학습 모델에 초점을 맞추고 있습니다.
3. DL4J와 함께 사용할 수 있는 Keras는 python에서 주로 사용되지만, DL4J와의 통합을 통해 java에서도 사용할 수 있습니다. Keras를 사용하면 java로 딥러닝 모델을 개발하고 훈련할 수 있습니다.

이러한 도구들은 java 개발자가 딥러닝 모델을 구현하고 사용할 수 있도록 도와줍니다. 하지만 현재로서는 python이 여전히 딥러닝 및 기계 학습 커뮤니티에서 더 널리 사용되고 있으며, java로서의 전환이 필요한 경우에만 이러한 java 기반 도구들을 사용하는 것이 일반적입니다.

자바로 딥러닝을 구현하는 간단한 예제를 살펴보겠습니다.

이 예제에서는 Deeplearning4j 라이브러리를 사용하여 간단한 다층 퍼셉트론(MLP) 신경망을 구현하고, MNIST 숫자 이미지 데이터셋을 사용하여 숫자 분류기를 훈련하는 방법을 보여줍니다.

Deeplearning4j dependency를 추가 한 후 다음과 같은 코드로 간단한 숫자 분류기를 만들 수 있습니다.

public class SimpleMnistClassifier {
    public static void main(String[] args) throws Exception {
        // MNIST 데이터셋을 불러옵니다.
        DataSetIterator mnistTrain = new MnistDataSetIterator(64, true, 12345);
        DataSetIterator mnistTest = new MnistDataSetIterator(64, false, 12345);

        // 신경망 구성 설정
        MultiLayerConfiguration conf = new NeuralNetConfiguration.Builder()
            .seed(12345)
            .optimizationAlgo(OptimizationAlgorithm.STOCHASTIC_GRADIENT_DESCENT)
            .list()
            .layer(new DenseLayer.Builder()
                .nIn(28 * 28) // 입력 크기
                .nOut(100) // 첫 번째 은닉층의 뉴런 수
                .activation(Activation.RELU)
                .build())
            .layer(new OutputLayer.Builder(LossFunctions.LossFunction.NEGATIVELOGLIKELIHOOD)
                .nIn(100) // 첫 번째 은닉층의 출력 크기
                .nOut(10) // 출력층의 뉴런 수 (10개의 클래스)
                .activation(Activation.SOFTMAX)
                .build())
            .build();

        // 다층 퍼셉트론(MLP) 생성
        MultiLayerNetwork model = new MultiLayerNetwork(conf);
        model.init();
        model.setListeners(new ScoreIterationListener(10));

        // 모델 훈련
        for (int i = 0; i < 5; i++) { // 5 에포크 동안 훈련
            model.fit(mnistTrain);
            System.out.println("Epoch " + i + " complete");
        }

        // 모델 평가
        Evaluation eval = model.evaluate(mnistTest);
        System.out.println(eval.stats());
    }
}

같은 코드를 python으로 짜보겠습니다.

import tensorflow as tf
from tensorflow.keras import layers, models, datasets

# MNIST 데이터셋 로드
(train_images, train_labels), (test_images, test_labels) = datasets.mnist.load_data()
train_images, test_images = train_images / 255.0, test_images / 255.0

# 모델 구성
model = models.Sequential([
    layers.Flatten(input_shape=(28, 28)),
    layers.Dense(100, activation='relu'),
    layers.Dense(10, activation='softmax')
])

# 모델 컴파일
model.compile(optimizer='sgd',
              loss='sparse_categorical_crossentropy',
              metrics=['accuracy'])

# 모델 훈련
model.fit(train_images, train_labels, epochs=5)

# 모델 평가
test_loss, test_acc = model.evaluate(test_images, test_labels)
print('Test accuracy:', test_acc)

이렇게 java와 python을 이용하여 각각 숫자 분류기를 만들어봤는데, 코드 양도 비슷하고, 구현이 가능한데 왜 딥러닝을 python으로 개발하는 것이 유리할까? 라는 의문이 생깁니다.

두번째. 왜 python인가?

딥러닝을 python으로 개발하는 것이 더 선호되는 이유는 다음과 같습니다.

1. 라이브러리와 프레임워크의 다양성: python은 TensorFlow, PyTorch, Keras 등 다양한 딥러닝 라이브러리와 프레임워크를 지원합니다. 이러한 도구들은 딥러닝 모델을 쉽게 구축하고 효율적으로 훈련시킬 수 있도록 다양한 기능을 제공합니다.
2. 커뮤니티와 생태계: python은 딥러닝 및 기계 학습 커뮤니티에서 널리 사용되는 언어입니다. 이로 인해 파이썬으로 개발된 다양한 튜토리얼 예제, 라이브러리, 프레임워크 등이 존재하며, 이러한 자원들을 활용하여 더 빠르게 학습하고 개발할 수 있습니다.
3. 유연성과 생산성: python은 문법이 간결하고 읽기 쉬우며, 동적 타이핑 언어이기 때문에 더 유연하고 생산적인 개발을 할 수 있습니다. 이는 딥러닝 모델의 프로토타이핑 및 실험을 더 빠르게 수행할 수 있도록 도와줍니다.
4. 자연어 처리 및 데이터 과학 분야의 강점: 자연어 처리 및 데이터 과학 분야에서 널리 사용되는 언어입니다. 이러한 분야와 딥러닝 간의 상호 작용이 많기 때문에 python은 이 분야와의 통합이 더욱 용이합니다.

세번째. 그렇다면 java에도 딥러닝 관련 라이브러리가 있는데, 어떤 경우 java를 이용한 딥러닝 개발을 하는게 좋을까?

1. 기존 java 코드와의 통합: 이미 java로 개발된 시스템에 딥러닝 기능을 통합해야 하는 경우가 있습니다. 이 경우 java로 딥러닝 모델을 개발하여 기존 코드와의 통합을 더욱 용이하게 할 수 있습니다.
2. 생산 환경이나 서버에서의 운영 편의성: java는 대규모 시스템에서 안정성과 확장성이 높은 언어로 널리 사용됩니다. 따라서 생산 환경이나 서버에서 딥러닝 모델을 운영하는 경우, java로 개발된 모델을 통합하고 운영하는 것이 편리할 수 있습니다.
3. 보안 및 규제 요구사항: 일부 산업군에서는 보안 및 규제 요구사항으로 인해 java와 같은 안전한 언어를 선호할 수 있습니다.
4. 팀의 기술 스택: 개발팀이 주로 java를 사용하고 있거나 java에 대한 높은 전문 지식을 갖고 있는 경우, 딥러닝 모델을 java로 개발하는 것이 팀의 기술 스택에 더 적합할 수 있습니다.

이러한 경우들을 고려할 때, java로의 전환은 종종 프로젝트의 요구사항과 팀의 기술적인 능력에 따라 결정되는 것을 알 수 있습니다.

python에 비해 오픈소스 라이브러리와 다양한 활용 도구들이 많이 부족하지만, 이미 java로도 활용 예제가 많이 나와있고, 책도 많이 출판되고 있습니다.
자바를 활용한 딥러닝) https://www.yes24.com/Product/Goods/63713122