전체 글 31

[Error] CUDA call failed lazily at initialization with error: device >= 0 && device < num_gpus INTERNAL ASSERT FAILED at "../aten/src/ATen/cuda/CUDAContext.cpp":50, please report a bug to PyTorch. device=?, num_gpus=?

import os os.environ['CUDA_VISIBLE_DEVICES'] = '3' 이렇게 os로 gpu를 설정하는 것보다 import torch를 더 먼저 실행하여 생기는 문제 import torch를 하게 되면 기본적으로 0번 GPU를 torch가 가져온다고 한다. ▶os.environ을 먼저 실행하여 torch보다 먼저 GPU 권한을 설정한다. (그냥 무조건 os.environ부터 제일 먼저 실행하기) + 추가적으로 pytorch 환경변수가 꼬여서 생기는 오류이기도 하다. 맨 처음에 환경변수 해제 명령어를 실행해준다. $ unset LD_LIBRARY_PATH import os os.environ['CUDA_VISIBLE_DEVICES'] = '3' import torch torch.cuda..

Pytorch 실행 에러 cuDNN version incompatibility

Pytorch 실행하다가 갑자기 하루 아침에 뜬 cuDNN 관련 에러 - Error Log RuntimeError: cuDNN version incompatibility: PyTorch was compiled against (8, 9, 2) but found runtime version (8, 7, 0). PyTorch already comes bundled with cuDNN. One option to resolving this error is to ensure PyTorch can find the bundled cuDNN. Looks like your LD_LIBRARY_PATH contains incompatible version of cudnn. Please either remove it from..

[Error] WARNING: The script jupyter-console is installed in which is not on PATH. Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.

* $ pip install jupyter로 jupyter를 설치한 후 jupyter가 실행되지 않는 문제 --> jupyter 명령어의 shell 환경변수 설정이 되지 않아, shell에서 바로 실행할 수 없는 것이다. --> 환경변수를 추가해주면 된다. $ export PATH=$PATH:[에러에 뜬 경로 그대로]

InternalError: Graph execution error: Detected at node 'StatefulPartitionedCall 8' defined at (most recent call last):

* Tensorflow 2.12 문제 모델 생성, 컴파일 후 fit 할 때 해당 에러가 발생했다. 1. Tensorflow 버전 다운그레이드 하기 $ pip3 install tensorflow==2.11.0 → 이렇게 하니까 ImportError: cannot import name 'range_op' from 'tensorflow.python.data.ops' 이런 에러 다시 발생 ▶ 결론 : 에러 해결 2. Tensorflow-gpu 버전으로 다시 깔기 $ pip3 install tensorflow-gpu==2.11.0

Tensorflow, pyTorch - 원하는 GPU 할당

모델 학습을 하기 위해 원하는 GPU만 사용하기 위해서는 python의 os 모듈을 통해 간단히 접근할 수 있는 GPU 번호를 제한해주면 된다. 1. 1개의 단일 GPU 사용 import os os.environ['CUDA_VISIBLE_DEVICES'] = '0' 2. 2개 이상의 multi-GPU 사용 (ex. 0번, 1번) import os os.environ['CUDA_VISIBLE_DEVICES'] = '0, 1' 이렇게 하고 1. Tensorflow tensorflow.distribute의 MirroredStrategy를 바로 사용해주면 된다. 위에서 이미 GPU를 제한했기 때문에 따로 설정해줄 것은 없다. 단지 선언한 mirrored_strategy안에 모델 define부터 모델 생성, c..

[Mac] Terminal에서 명령어 install 하기

Mac은 리눅스의 apt, apt-get, pip 등과 마찬가지로 brew라는 명령어로 패키지를 설치할 수 있다. * 설치방법 1. brew 설치 $ /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" 2. brew 환경변수 설정 - brew를 설치하면 제일 마지막에 ==> Next steps: 가 뜬다. - Next steps에서 나오는 3개의 명령어를 차례대로 복사해서 Terminal에 입력해주면 된다. - Terminal에서 나오는 echo부터 첫번째 /.zprofile까지 복사해서 입력하고, 또 echo부터 /.zprofile까지 입력하고, 그 다음 eval부터 shellenv)..

Setting, Error/Mac 2022.12.15