천천히 정리

모델 학습을 하기 위해 원하는 GPU만 사용하기 위해서는 python의 os 모듈을 통해 간단히 접근할 수 있는 GPU 번호를 제한해주면 된다. 1. 1개의 단일 GPU 사용 import os os.environ['CUDA_VISIBLE_DEVICES'] = '0' 2. 2개 이상의 multi-GPU 사용 (ex. 0번, 1번) import os os.environ['CUDA_VISIBLE_DEVICES'] = '0, 1' 이렇게 하고 1. Tensorflow tensorflow.distribute의 MirroredStrategy를 바로 사용해주면 된다. 위에서 이미 GPU를 제한했기 때문에 따로 설정해줄 것은 없다. 단지 선언한 mirrored_strategy안에 모델 define부터 모델 생성, c..

Mac은 리눅스의 apt, apt-get, pip 등과 마찬가지로 brew라는 명령어로 패키지를 설치할 수 있다. * 설치방법 1. brew 설치 $ /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)" 2. brew 환경변수 설정 - brew를 설치하면 제일 마지막에 ==> Next steps: 가 뜬다. - Next steps에서 나오는 3개의 명령어를 차례대로 복사해서 Terminal에 입력해주면 된다. - Terminal에서 나오는 echo부터 첫번째 /.zprofile까지 복사해서 입력하고, 또 echo부터 /.zprofile까지 입력하고, 그 다음 eval부터 shellenv)..

0. 접속 ssh 사용할 때와 비슷하다고 생각하면 된다. $ sftp [계정명]@[ip주소] * 포트를 따로 지정해야할 때는 $ sftp -P [포트번호] [계정명]@[ip 주소] ex) sftp -P 22 root@127.0.0.1 * 모든 파일의 목록을 확인하는 ls 명령어나, cd같은 다른 명령어를 사용할 수 있다. * 다른 명령어와 같이 사용하여 효과적으로 sftp를 사용하면 된다. 1. 원격 서버에서 내 로컬에 가져오고 싶을 때 1-1) 파일 가져오기 $ get [파일 이름 or 파일 경로] ex) $ get Untitled.ipynb ex) $ get /home/Docker/project1/Untitled.ipynb 1-2) 폴더 가져오기 $ get -r [폴더 이름 or 폴더 경로] ex) ..

$ pip3 install jupyter notebook $ pip3 install jupyterlab $ jupyter lab password $ jupyter lab --allow-root --ip=0.0.0.0 --port=8888 & $ ifconfig ifconfig 명령어로 자신의 ip를 확인한 후 인터넷 창(ex. 크롬)에 들어가서 주소창에 ip:포트번호를 입력하면 된다. ex) 127.0.0.1:8888 ▶ jupyter lab과 jupyter notebook을 호환하여 함께 사용할 수 있다. 포트번호 바로 뒤에 /lab 을 붙이면 jupyter Lab 실행 ex) 127.0.0.1:8888/lab 포트번호 바로 뒤에 /tree 를 붙이면 jupyter Notebook 실행 ex) 127...

※ 해결법 ERROR: Could not find a version that satisfies the requirement jupyter-lab (from versions: none) ERROR: No matching distribution found for jupyter-lab Arguments: (UpgradePrompt(old='22.1.2', new='22.2.2'),) 이런 식으로 어떻게 해결해야 하는지 말해준다. prompt를 22.2.2 버전으로 업그레이드 하라고 하니, 업그레이드 해주면 된다. $ pip3 install --upgrade pip

* 두 명령어 모두 superuser 권한이 필요하니 sudo를 앞에 꼭 붙일 것 $ sudo swapoff -a swap 메모리가 잡히지 않는 것을 htop에서 확인할 수 있다. $ sudo swapon -a 다시 swap 메모리가 잡히는 것을 htop에서 확인할 수 있다.

1. (.gz) 파일 $ gzip -d [파일 이름].gz -d 옵션을 붙이면 원래 존재하던 .gz파일을 없애고, 압축해체한 파일로 대체된다. 2. (.tar.gz) 파일 $ tar zvfx [파일 이름].tar.gz zvfx 옵션을 붙이면 압축 해제를 현재 디렉토리에 할 수 있다. 3. (.tar) 파일 - 압축해제 $ tar vfx [파일 이름].tar - 압축 $ tar -cvf [파일 이름].tar 4. (.zip) 파일 - (파일) 압축해제 $ unzip [파일 이름].zip + 비밀번호가 걸려있는 경우 $ unzip -P [비밀번호] [파일이름].zip - (파일) 압축 $ zip [파일 이름].zip - (폴더) 압축 $ zip -r [폴더 이름].zip 폴더이름/ (뒤에 / slash 꼭 ..

$ free -h free 명령어로 현재 메모리의 상태를 확인할 수 있다. $ sudo sh -c "echo 1 > /proc/sys/vm/drop_caches" 만약 위 명령어로 메모리가 비워지지 않는다면 $ sudo sh -c "echo 2 > /proc/sys/vm/drop_caches"

$ watch -n [원하는 초] nvidia-smi ex) $ watch -n 1 nvidia-smi (1초 단위로 nvidia-smi 확인 가능) 위의 붉은 박스 부분의 시간이 자신이 설정한 시간 단위로 변하고 있는 것을 확인하면 된다.

※ rtx 3090, ubuntu 20.04, docker, tensorflow 사용 맨 처음 tensorflow-gpu의 버전부터 바꿔보기, 2.4를 사용하면 똑바로 gpu가 인식되는 경우가 있다. $ pip3 install tensorflow-gpu==2.4.0 해당 에러로 도커 내부의 tensorflow에서 gpu가 잡히지 않는다. 필요로 하는 것은 11 버전인데 cudnn을 깔면 8이나 10으로 설치되었기 때문이다. 뒤에 나와있는 숫자를 다 11로 바꿔주면 된다. ※ 이미 cudnn이 다 깔려있다면 3번으로 가서 숫자만 바꾸면 된다. [해결방법] 1. nvidia 홈페이지(밑의 링크)에 가서, 로그인 후 cudnn을 본인의 환경에 맞게 다운로드 후 압축 해제 https://developer.nvi..