Setting, Error/Python, Python Library 16

Python Structure 사용법

0. Dict 에서의 사용법AttributeError: 'dict' object has no attribute 'dataset'  파이썬의 Dict는 안의 객체를 참조할 때 . 으로 참조할 수 없다. configs = {   'dataset' : 'electricity'} configs.dataset 이라고 하면 위와 같은 에러가 난다.--> configs['dataset'] 으로 코드를 수정해야 한다.   1. Python Structure 객체지향적으로 python을 사용하고 싶다면 Decoration을 사용해야 한다. 1.1 Decoration을 import 한다.- from dataclasses import dataclass @dataclassclass Configs:    dataset:str ..

Cleverhans 사용법

Adversarial Attack의 각종 공격기법들을 구현해놓은 Python Library [Cleverhans] 사용법 정리Torch, TF2 에서 사용 가능출처 : https://github.com/cleverhans-lab/cleverhans Cleverhans - API documentshttps://cleverhans.readthedocs.io/en/latest/ Cleverhans - Bloghttps://www.cleverhans.io/ Cleverhans - Githubhttps://github.com/cleverhans-lab/cleverhans Cleverhans Code - Paperhttps://arxiv.org/pdf/1610.00768 추후, 각각의 공격기법들에 대해서 Study..

Scikit-learn TimeSeriesSplit

- 출처 : https://otexts.com/fpp3/tscv.html* 시계열 교차검증 Time Series Cross Validation (TSCV) time series forecasting을 cross validation할 때는 다음과 같은 방법으로 시도해야 한다. - python code 방법(출처 : https://www.geeksforgeeks.org/time-series-cross-validation/) --> scikit-learn의 TimeSeriesSplit   함수를 이용하면 된다.https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.TimeSeriesSplit.html [사용법]from sklearn...

[Error] CUDA call failed lazily at initialization with error: device >= 0 && device < num_gpus INTERNAL ASSERT FAILED at "../aten/src/ATen/cuda/CUDAContext.cpp":50, please report a bug to PyTorch. device=?, num_gpus=?

import os os.environ['CUDA_VISIBLE_DEVICES'] = '3' 이렇게 os로 gpu를 설정하는 것보다 import torch를 더 먼저 실행하여 생기는 문제 import torch를 하게 되면 기본적으로 0번 GPU를 torch가 가져온다고 한다. ▶os.environ을 먼저 실행하여 torch보다 먼저 GPU 권한을 설정한다. (그냥 무조건 os.environ부터 제일 먼저 실행하기) + 추가적으로 pytorch 환경변수가 꼬여서 생기는 오류이기도 하다. 맨 처음에 환경변수 해제 명령어를 실행해준다. $ unset LD_LIBRARY_PATH import os os.environ['CUDA_VISIBLE_DEVICES'] = '3' import torch torch.cuda..

Pytorch 실행 에러 cuDNN version incompatibility

Pytorch 실행하다가 갑자기 하루 아침에 뜬 cuDNN 관련 에러 - Error Log RuntimeError: cuDNN version incompatibility: PyTorch was compiled against (8, 9, 2) but found runtime version (8, 7, 0). PyTorch already comes bundled with cuDNN. One option to resolving this error is to ensure PyTorch can find the bundled cuDNN. Looks like your LD_LIBRARY_PATH contains incompatible version of cudnn. Please either remove it from..

[Error] WARNING: The script jupyter-console is installed in which is not on PATH. Consider adding this directory to PATH or, if you prefer to suppress this warning, use --no-warn-script-location.

* $ pip install jupyter로 jupyter를 설치한 후 jupyter가 실행되지 않는 문제 --> jupyter 명령어의 shell 환경변수 설정이 되지 않아, shell에서 바로 실행할 수 없는 것이다. --> 환경변수를 추가해주면 된다. $ export PATH=$PATH:[에러에 뜬 경로 그대로]

Tensorflow, pyTorch - 원하는 GPU 할당

모델 학습을 하기 위해 원하는 GPU만 사용하기 위해서는 python의 os 모듈을 통해 간단히 접근할 수 있는 GPU 번호를 제한해주면 된다. 1. 1개의 단일 GPU 사용 import os os.environ['CUDA_VISIBLE_DEVICES'] = '0' 2. 2개 이상의 multi-GPU 사용 (ex. 0번, 1번) import os os.environ['CUDA_VISIBLE_DEVICES'] = '0, 1' 이렇게 하고 1. Tensorflow tensorflow.distribute의 MirroredStrategy를 바로 사용해주면 된다. 위에서 이미 GPU를 제한했기 때문에 따로 설정해줄 것은 없다. 단지 선언한 mirrored_strategy안에 모델 define부터 모델 생성, c..