빠른 복사를 위한 윈도우 robocopy , TeraCopy, FastCopy, 리눅스 rsync, tar > 센트리어 포스팅

윈도우와 리눅스에 용량이 많은 폴더 파일을 복사하기 위한... robocopy ,  TeraCopy, FastCopy, rsync, tar

요즘 정보량이 많아, 복사와 삭제 등도 시간이 많이 걸리는 편이다.

특히 20~30G 정도가 넘으면 시간은 꽤 오래 걸릴 수도 있다.

이번에 고객사의 82.4 G 의 서버 데이터를 옮기기 위해 시간이 많이 소요되어 이 내용을 정리해 봅니다.

윈도우, 리눅스 파일, 폴더 복사

먼저 윈도우에서 신속한 파일, 폴더 복사 방법 ...

전용 소프트웨어인 TeraCopy, FastCopy 를 사용하기 바랍니다.

TeraCopy와 같은 프로그램은 복사 속도를 최적화하고, 에러 발생 시 복구 기능을 제공하여 안정성을 높입니다.

TeraCopy는 특히 GUI 환경에서 사용이 편리합니다.

명령어를 통해서 진행하시려면 아래를 참조합니다.

robocopy "C:\source_folder" "D:\destination_folder" /E /Z /J /COPYALL /R:1 /W:1

혹은 

robocopy "C:\source_folder" "D:\destination_folder" /E /Z /J /COPYALL

/J 옵션은 대용량 파일 복사 시 특히 유용하며, 버퍼를 사용하지 않아 빠릅니다.

위 명령의 주요 옵션은 다음과 같습니다.

/E: 빈 디렉토리도 복사

/Z: 중단 가능한 복사 모드

/J: 대용량 파일 복사 시 성능 향상

/COPYALL: 모든 속성을 유지하면서 복사

/R: 실패 시 재시도 횟수 설정

/W: 재시도 대기 시간 설정

리눅스에서 신속한 복사 방법입니다.

rsync -avh /source_folder/ /destination_folder/

이 방법을 사용하시기 바랍니다.

옵션의 내용은 아래와 같습니다.

-a: 아카이브 모드, 모든 파일 속성을 유지

-v: 진행 상황을 출력

-h: 사람이 읽기 쉬운 형식으로 출력

큰 디렉토리를 압축 후 전송하고 목적지에 압축을 푸는 방법입니다.

AWS S3 등을 사용시 폴더를 읽기 위해 GET 명령이 파일당 읽기 때문에 비용이 많이 나갈 수 있습니다.

이럴 경우 아래와 같이 사용하시면 압축을 통해 진행하기 때문에 비용을 많이 줄 일 수 있을 겁니다.

tar -czf - /source_folder | tar -xzf - -C /destination_folder

윈도우, 리눅스 파일, 폴더 삭제

윈도우 대량 삭제일 경우 파일 탐색기 보다는 아래 명령을 참조해 주세요

rmdir /s /q "C:\path\to\folder"

혹은

del /f /s /q "C:\path\to\folder\*"

리눅스에서 일반적인 대량 삭제의 경우

rm -rf /path/to/folder

매우 큰 디렉토리나 파일이 많은 경우 

find /path/to/folder -type f -print0 | xargs -0 rm -f

매우 많은 작은 파일을 포함하는 디렉토리를 삭제할 때, rsync를 사용하여 빈 디렉토리로 덮어쓰는 방법도 있습니다.

rsync -a --delete empty_dir/ /path/to/folder/

리눅스에서 특정 폴더의 크기를 보기 위해

보통 아래의 명령을 많이 사용하시겠지만

du -sh /path/to/directory

du -h --max-depth=1 /path/to/directory

ncdu 도 한번 사용해 보시기 바랍니다.

ncdu /path/to/directory