천천히 정리

Docker container 실행 후 계속 GPU 안 될 때

♨ 계속 docker container 안에서 Failed to initialize NVML: Driver/library version mismatch 에러 발생 1. 증상 정리- 그냥 컴퓨터의 cuda, nvidia-smi는 멀쩡함- 도커 컨테이너에서 gpu 실행 후 갑자기 gpu 접근이 안 되면서 모든 프로세스 종료됨- 도커 컨테이너가 중단되거나 그러지는 않음 (딱 gpu만 안 되면서 gpu 사용 불가)- 컨테이너 여러 개에서 동시에 gpu 안 됨- 도커 컨테이너 restart 하면 바로 다시 gpu 잡히지만, 다시 도르마무- gpu 돌려놔도 계속 꺼지는 이슈가 있고, 매번 컨테이너를 재시작할 수 없으므로 문제 해결 시급 2. 해결 방안 (계속 수정 중) 2.1. docker runtime의 cgro..

1. Fail2ban 설치$ sudo apt update$ sudo apt install fail2ban$ sudo systemctl status fail2ban 2. fail2ban 설정$ sudo vi /etc/fail2ban/jail.local더보기* 필요한 부분 수정 (ssh의 maxretry 조정) [sshd]# To use more aggressive sshd modes set filter parameter "mode" in jail.local: # normal (default), ddos, extra or aggressive (combines all). # See "tests/files/logs/sshd" or "filter.d/sshd.conf" for usage example and de..

서버를 사용하는 중 어떤 user가 어떤 프로세스를 실행했는지 확인해야 할 때 유용한 명령어 $ ps -ef | grep [pid]

# zip 파일 리스트 정보를 가지고, 바로 unzip 하는 코드 / 에러 발생시에 error.log에 어떤 파일이 잘못되었는지 저장함.exps=*.zipfor e in $expsdo    unzip $e || echo $e >> error.logdone   1. *.zip -> zip으로 끝나는 전체 파일 리스트를 다 불러옴 2. 불러온 결과를 exps 변수에 배열로 저장 3. 반복문 실행 (python과 비슷하나, 변수를 사용할 때 $를 꼭 붙일 것) 4. 조건문이나 반복문의 시작은 do, 끝맺음은 done 5. 반복이 돌면서 exps안에 있는 zip 파일명들을 하나씩 차례대로 e에 불러옴    ex) [a.zip b.zip] -> unzip a.zip / unzip b.zip 이 차례대로 실행됨 6..

사용하던 서버가 해킹으로 털려서 기록하는 command들 ip, port 들을 관리하는 명령어에는 ufw, iptables 등이 있지만 편의성을 위해route 명령어들을 이용함. - 특정한 해외 아이피 대역 차단xxx.xxx.xxx.0 으로 차단을 걸어 관련된 ip들이 접근되지 못하게 막음 0. 현재 IP routing table 조회$ route 1. 특정 ip (xxx.xxx.xxx.xxx) 차단 - 주로 해외 ip 차단에 이용했음$ sudo route add -host [특정 ip] reject 2. 특정 ip 차단 해제$ sudo route del -host [특정 ip] reject  이렇게 해도 다시 또 털리는 경우가 있으니,계속 서버를 주시하면서 특이한 ip 및 port가 연결되었는지 확인할 것

사용하던 서버가 해킹으로 털려서 기록하는 command들 - 일단 이걸 보고 있다는 것은 이미 비밀번호가 유출된 것이므로, 제일 먼저 비밀번호부터 변경할 것$ sudo passwd 1. 로그인 기록 조회$ sudo last -f /var/log/wtmp 2. 로그인 실패 기록 조회$ sudo last -f /var/log/btmp 3. 현재 로그인 되어있는 계정 조회$ who 4. 마지막 로그인 계정 조회$ lastlog

▶Error 해결- 인터넷 연결이 되었는지 확인 차 ping 커맨드 실행 $ ping www.naver.com  - Temporary failure in name resolution 에러 발생 $ sudo vi /etc/resolv.conf- 해당 resolv 파일의 nameserver 127.0.0.53 아래에 아래 2줄 추가  nameserver 8.8.8.8  nameserver 8.8.4.4 ♨ 수정을 했음에도 불구하고, 계속 resolv 파일이 초기화되는 문제 발생- resolv 재설치$ sudo apt-get update$ sudo apt-get install resolvconf - ping 다시 시도$ ping www.naver.com

▶ Error 해결 - Docker 프로세스의 ip 설정에서 생기는 문제- Docker에 인터넷도 연결되지 않아, pull도 되지 않았고, apt-get update도 잘 되지 않았다. $ sudo vi /etc/resolv.conf- 여기에서 nameserver 127.0.0.53 으로 되어있는 바로 밑에 줄에 다음 밑에 두 줄을 입력한다.  nameserver 8.8.8.8  nameserver 8.8.4.4  ( 127.0.0.53 은 사용자가 의도하지 않은 정보라는 뜻이라고 함 - 공용 서버를 사용하는 경우에 나타나는 듯함) ▷도커 restart는 안 해도 되는데, 위의 resolv 수정을 시도했는데도 되지 않는다면 다시 restart 해볼 것$ sudo systemctl restart docker

$ top -b -n 1 | grep zombie 좀비프로세스 : 실행은 완료되었지만 정상적으로 종료되지 못한 프로세스 + PID를 계속 점유하고 있기에, 원활한 cpu 사용을 위해 종료해주는 것이 좋음 $ kill -9 [pid]위의 명령어를 이용하여 좀비프로세스를 종료하거나, 이를 실행한 부모프로세스를 종료하는 방법이 있음. - [-9] option : 프로세스 강제 종료 (작업 중인 내용 저장 안 되니 유의)

$ lsof -i :3277 특정 포트만 사용하고 싶을 때 : 뒤에 원하는 포트번호를 붙이면 된다.-i는 특정 IPv4 address를 보게 해주는데, 이 때 예시처럼 포트번호만 봐도 되는 것이다. 서버 작업을 하고 있을 때,어느 사용자가 특정 포트나 특정 주소를 사용하고 있는지 확인할 때 사용하면 좋은 명령어이다. * 이 때 root 권한이 없다면 각 사용자(user) 본인이 킨 process만 확인할 수 있다.* 따라서 공동 작업을 하는 경우 각각 개인이 lsof 를 사용하여 확인해야 한다.