젊은 개발자의 노트

num_workers는 데이터를 로드할 때, 몇 개의 서브프로세스를 사용할 것인지 설정하는 파라미터입니다. 공식 홈페이지에서 설명하는 내용은 다음과 같습니다. num_workers (int, optional)  – how many subprocesses to use for data loading.     0 means that the data will be loaded in the main process. (default: 0)출처 : https://pytorch.org/docs/stable/data.html#torch.utils.data.DataLoader torch.utils.data — PyTorch 2.5 documentationtorch.utils.data At the heart of PyTor..

1. ERROR 발생CUDA 설치를 완료했는데, 아래와 같이 nvcc 버전 정보가 나오지 않을 수 있습니다. 2. 해결 방법Error가 발생한 원인은 CUDA path 설정이 안 했기 때문입니다.CUDA 설치가 끝나면, 아래와 같이 안내 문구가 출력됩니다. CUDA path 설정 방법은 다음과 같습니다. (1) ~/.bashrc 파일 vi로 열기vi ~/.bashrc(2) ~/.bashrc 파일 마지막 부분에 아래 내용 추가 (CUDA 버전 수정 필요)export PATH="/usr/local/cuda-12.1/bin:$PATH"export LD_LIBRARY_PATH="/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH"(3) ~/.bashrc 파일 실행source ~/.ba..

1. ERROR 발생CUDA를 설치하려고 했는데, 아래와 같이 gcc version을 확인할 수 없다고 하면서 실패했습니다. 자세한 내용 확인을 위해 /var/log/cuda-installer.log 파일을 확인해 보니, 마찬가지로 gcc가 필요하다고 나와있네요. 그래서 gcc가 설치되어 있는지 확인해 보니, 아래와 같이 command not found 에러가 나왔습니다. 2. 해결 방법gcc는 GNU Compiler Collection의 약자로, GNU 프로젝트의 오픈 소스 컴파일러 모음을 말합니다.gcc가 설치되어 있지 않은 경우, 아래 명령어로 설치 가능합니다.apt install build-essential 설치가 끝난 이후에 다시 버전 정보를 확인해 보면, 아래와 같이 버전 정보가 잘 출력됩니다.

1. ERROR 발생CUDA 설치 가이드에 따라 아래 명령어를 입력했는데, wget 커맨드를 찾을 수 없다는 에러가 나왔습니다. 2. 해결 방법wget은 Web get의 약자로, 웹 서버로부터 콘텐츠를 가져오는 명령어입니다.wget이 설치되어 있지 않아서 나온 에러로, 아래 명령어로 설치해서 해결할 수 있습니다.apt-get install wget wget 설치 이후에는 아래와 같이 잘 동작하는 것을 확인할 수 있습니다.

PyTorch에서 MLP 모델을 만드는 방법에 대해 알아보겠습니다.MLP는 Multi-Layer Perceptron의 약자로, 입력층(input layer)과 출력층(output layer) 사이에 1개 이상의 은닉층(hidden layer)이 있는 구조의 퍼셉트론을 말합니다. 만들어볼 MLP 모델은 XOR 게이트 모델입니다.이번 글에서는 모델을 만드는 과정 중 학습 데이터셋 만드는 부분을 다뤄보겠습니다. 먼저, 입력 데이터의 리스트와 출력 데이터의 리스트를 만들어 줍니다.그리고 zip 함수를 이용해서 2개의 리스트를 하나로 묶어줍니다. 그럼 이어서 실제 코드를 살펴보겠습니다.import torchfrom torch.autograd import Variablexor_input = [Variable(tor..

Python에서 pcm 또는 raw 파일의 데이터를 읽는 방법에 대해 알아보겠습니다.여러 방법이 있지만, numpy의 fromfile 함수를 이용하는 방법을 소개해 드리겠습니다. import numpy as npaudio = np.fromfile('test.pcm', dtype=np.int16)print(audio)print(f"number of samples = {len(audio)}")samplerate = 16000print(f"length = {len(audio)/samplerate}s") numpy의 fromefile 함수는 텍스트나 이진 파일의 데이터를 배열로 만들어줍니다.위의 예시처럼 파일명과 데이터 타입만 지정해 주면, 타입에 맞게 데이터를 읽어 배열로 만듭니다. np.int16으로 데이터..

SciPy(Scientific Python)은 Python에서 scientific computing을 하기 위해, 많이 사용하는 라이브러리입니다.아래 명령어를 사용해서 설치할 수 있습니다.pip install scipy 설치한 이후에는 아래와 같이 import 해서 사용 가능합니다.import scipy 다른 방식(conda, apt-get 등)으로 설치하는 방법은 아래 공식 홈페이지에서 확인 가능합니다. https://scipy.org/install/

1. ERROR 발생pip를 이용해 패키지를 설치할 때, 아래와 같이 에러가 발생할 수 있습니다.root@1dc05c27361c:/data/PyTorch# pip install torch torchvisionerror: externally-managed-environment× This environment is externally managed╰─> To install Python packages system-wide, try apt install python3-xyz, where xyz is the package you are trying to install. If you wish to install a non-Debian-packaged Python package, create ..

PyTorch Lightning은 딥러닝 프레임워크로, 이를 활용하면 누구나 쉽게 딥러닝 모델을 학습할 수 있습니다.TensorFlow에 Keras가 있다면, PyTorch에는 PyTorch Lightning이 있다고 봐주시면 될 것 같습니다. PyTorch Lightning은 아래 명령어로 간단하게 설치할 수 있습니다.pip install pytorch-lightning 설치가 완료되면, 아래와 같이 import 해서 사용할 수 있습니다.간단하게 버전 정보를 출력해 보도록 하겠습니다.import pytorch_lightning as plprint(f'PyTorch lightning version: {pl.__version__}') 위 출력 결과를 통해, PyTorch가 잘 설치되었는지, 어느 버전이 설..

Python에서 scipy 라이브러리를 이용해서, wav 파일을 읽는 방법에 대해 알아보겠습니다.from scipy.io import wavfilefile_name = "sine.wav"samplerate, data = wavfile.read(file_name) scipy.io 패키지에서 wavfile 모듈을 import 하고, wavfile의 read 함수를 이용하는 방법입니다.7초 길이의 16000Hz, 2ch wav 파일이었는데, 잘 읽은 것이 맞는지 확인해 보겠습니다.print(f"sample rate = {samplerate}Hz")print(f"data.shape = {data.shape}")print(f"length = {data.shape[0] / samplerate}s")print(f"n..