전체 글 39

cannot remove [file name]: Device or resource busy

* rm -rf [파일명] or rm -rf [폴더명] 에러 - 간단하게 정말 말 그대로 어딘가에서 해당 파일 및 폴더를 사용하고 있다는 것! - 돌아가는 코드나 다운로드, 복사 및 붙여넣기 등 많은 경우에서 파일 및 폴더를 사용하고 있을 수 있음- 사용하고 있는 프로세스 확인 및 정상 종료 후 다시 시도! + 만약 프로세스를 kill 하는 경우$ kill -9 [process_id]

Python Structure 사용법

0. Dict 에서의 사용법AttributeError: 'dict' object has no attribute 'dataset'  파이썬의 Dict는 안의 객체를 참조할 때 . 으로 참조할 수 없다. configs = {   'dataset' : 'electricity'} configs.dataset 이라고 하면 위와 같은 에러가 난다.--> configs['dataset'] 으로 코드를 수정해야 한다.   1. Python Structure 객체지향적으로 python을 사용하고 싶다면 Decoration을 사용해야 한다. 1.1 Decoration을 import 한다.- from dataclasses import dataclass @dataclassclass Configs:    dataset:str ..

Cleverhans 사용법

Adversarial Attack의 각종 공격기법들을 구현해놓은 Python Library [Cleverhans] 사용법 정리Torch, TF2 에서 사용 가능출처 : https://github.com/cleverhans-lab/cleverhans Cleverhans - API documentshttps://cleverhans.readthedocs.io/en/latest/ Cleverhans - Bloghttps://www.cleverhans.io/ Cleverhans - Githubhttps://github.com/cleverhans-lab/cleverhans Cleverhans Code - Paperhttps://arxiv.org/pdf/1610.00768 추후, 각각의 공격기법들에 대해서 Study..

Scikit-learn TimeSeriesSplit

- 출처 : https://otexts.com/fpp3/tscv.html* 시계열 교차검증 Time Series Cross Validation (TSCV) time series forecasting을 cross validation할 때는 다음과 같은 방법으로 시도해야 한다. - python code 방법(출처 : https://www.geeksforgeeks.org/time-series-cross-validation/) --> scikit-learn의 TimeSeriesSplit   함수를 이용하면 된다.https://scikit-learn.org/stable/modules/generated/sklearn.model_selection.TimeSeriesSplit.html [사용법]from sklearn...

Unsupervised Learning

- Clusteringex) k-Means, DBSCAN, Hierarchical Clustering - k-Means + 무작의 k개의 중심점(centroid)을 뽑은 다음, 그 centroid를 기준으로 얼마나 군집을 이루는가를 보는 것 + 모든 중심점에서 모든 데이터의 거리를 구하고, 가장 가까운 중심점으로 데이터들을 매핑한다 + 동일한 군집이라고 나온 구간에서 각각의 중심점을 다시 만들어낸다  + 계속 iteration을 반복하며 최적의 중심점을 찾게 된다 + k라는 군집개수를 정해줘야 함 - DBSCAN + epsilon(거리)과 최소 포인트 수 값(중심 포인트를 기준으로 몇 개의 포인트들을 가지고 있을지)을 설정 + 모든 포인트들을 다 보는데, 이 때 1번 조건을 만족한다면 Core point..

Study/Concepts 2024.04.28

[Error] CUDA call failed lazily at initialization with error: device >= 0 && device < num_gpus INTERNAL ASSERT FAILED at "../aten/src/ATen/cuda/CUDAContext.cpp":50, please report a bug to PyTorch. device=?, num_gpus=?

import os os.environ['CUDA_VISIBLE_DEVICES'] = '3' 이렇게 os로 gpu를 설정하는 것보다 import torch를 더 먼저 실행하여 생기는 문제 import torch를 하게 되면 기본적으로 0번 GPU를 torch가 가져온다고 한다. ▶os.environ을 먼저 실행하여 torch보다 먼저 GPU 권한을 설정한다. (그냥 무조건 os.environ부터 제일 먼저 실행하기) + 추가적으로 pytorch 환경변수가 꼬여서 생기는 오류이기도 하다. 맨 처음에 환경변수 해제 명령어를 실행해준다. $ unset LD_LIBRARY_PATH import os os.environ['CUDA_VISIBLE_DEVICES'] = '3' import torch torch.cuda..