구글 공유 드라이브 무료 동기화 유틸 | AutoRclone

<AutoRclone을 사용하면 구글 공유 드라이브끼리 동기화할 수 있다>

• 2021/10/07: 필독! 현재 과도하게 트래픽을 유발하면 (하루 최소 5TB에서 최대 10TB 안팎???계정당 2TB) 프로젝트에 제한이 걸린다(Action required: Critical problem with your Google Cloud/APIs project Quickstart). 항소 요청이 받아들여지지 않으면 해당 프로젝트에서 더는 SA 계정 생성도 안 되고, AutoRclone도 사용할 수 없다. 이땐 새 프로젝트를 만들어야 한다.

• 2021/10/10: 「구글 드라이브 API SA(서비스 계정) 제한과 우회 방법」

한 계정 당 대역폭 제한 75TB까지 확장

지난번에 「구글 공유 드라이브끼리 동기화하는 방법」으로 에어 익스플로러(Air Explorer)를 사용했다. Air Explorer는 윈도우 사용자에게 친숙한 GUI 인터페이스이기 때문에 사용하기 쉽다는 장점이 있지만, 하루 대역폭 제한(750GB)에서 벗어날 수 없다는 한계가 있다. 구글 계정을 여러 개 사용하여 대역폭을 추가할 수 있지만, 이것에도 한계는 있다. 이를 거의 해결한 것이 AutoRclone을 이용한 구글 공유 드라이브 동기화다.

rclone을 기반으로 하는 AutoRclone은 Google Cloud Platform에서 제공하는 서비스 계정(SA: Service account) 100개를 생성함으로써 하나의 계정의 하루 대역폭 제한을 75TB(750GB x 100)까지 확장할 수 있다 (이론적으로 100개 이상도 가능하지만, 구글의 제약을 받을 수 있다고 한다). 75TB가 부족하면 여분의 구글 계정을 활용하면 된다.

75TB 정도면 현재로선 거의 무한이라고 해도 과언은 아닐 것이며, 공유 드라이브를 여러 개 활용하는 사람들에겐 어찌 보면 필수적인 동기화 프로그램이지 아닐까 싶다.

AutoRclone의 단점이 있다면, Air Explorer처럼 폴더 동기화는 안 된다는 것이다(rclone, gclone은 가능한 것으로 보임). 그래도 전체적으로 동기화 속도는 에어 익스플로러보다 빠르고, 이 정보를 귀띔해 준 tosh님의 의하면 gclone은 더 빠르다고 한다.

AutoRclone의 또 하나의 단점은 사용법이 다소 어렵다는 것이다(그렇다고는 해도 내가 볼 땐 rclone보다는 쉽다). 영어 울렁증만 없다면, AutoRclone 홈페이지 설명과 유튜브 동영상(태국어? 베트남어?)으로 사용법을 숙지할 수 있지만, 그렇지 못한 분들을 위해, 그리고 훗날 내가 잊어버릴 때를 대비하여(그래서 나도 종종 내가 쓴 글을 찾아본다) 이 글을 작성하기로 했다.

내 글에 담긴 정보가 명확하지 못할 수도 있고, 부족할 수도 있지만 나도 이제 막 배운 참이라 어쩔 수가 없다. 아무쪼록 건투를 빈다.

참고로 글이 너무 길어지는 것을 방지하고자 이미지는 최대한 절제했다(글 작성을 위해 준비한 스크린샷만 무려 40장이 넘는다). 그래도 꽤 많이 첨부될 것이다.

AutoRclone으로 구글 공유 드라이브 동기화 1/2단계

• 준비물: 구글 계정, 동기화에 사용할 공유 드라이브 두 개 이상, python, rclone, AutoRclone

1. python을 설치하고, rclone, AutoRclone을 다운로드한 다음 이 둘을 하나의 폴더에 압축 해제한다. AutoRclone은 [Code]를 클릭하여 파일을 다운로드해야 한다.

2. rclone 폴더에서 명령 프롬프트 창을 열고 다음 명령어를 순차적으로 실행.

python --version (python이 제대로 설치되었나 확인)

pip install –r requirements.txt (pip 설치)

python –m pip install --upgrade pip (pip 업그레이드)

3. 아래 링크로 이동해 [Enable the Drive API] 클릭. 프로젝트 이름은 아무거나 해도 무방하지만, 일단 기본으로 주어지는 [Quickstart]로 사용. 그리고 [DOWNLOAD CLIENT CONFIGURATION]을 클릭하여 credentials.json 파일 다운로드. 그리고 이 파일을 rclone 폴더로 복사.

https://developers.google.com/drive/api/v3/quickstart/python

• 2021/04/09: 기존에 이미 이 모든 과정을 완성한 사용자는 상관이 없지만, 신규 사용자는 요 3번 과정이 매우 번거롭게 되었다. 이 과정은 새로 작성한 「구글 클라우드 플랫폼 프로젝트 생성 및 API 활성화」 글을 참고하고, 새 구글 계정 만들어서 테스트해 본 결과 서비스 계정 생성까지 변동사항은 없었다.

4. 명령 프롬프트 창에서,

python gen_sa_accounts.py --list-project

명령으로 좀 전에 생성한 프로젝트 리스트를 확인하려고 하면, [Quickstart] 앱에 대한 인증을 요구한다(앞으로도 이런 과정을 몇 번 더 거치게 되니 유의하자).

위 사진처럼 명령 프롬프트 창에 있는 인증 링크를 복사하여 웹브라우저로 이동.

5. [확인되지 않은 앱]이라는 경고가 나오면서 이동을 가로막지만, 어찌 되었든 우리는 사용을 해야 하니 무시하고 위 사진처럼 권한을 부여한다. 그렇게 해서 얻은 인증 코드를 명령 프롬프트 창에 붙여넣고 Enter!

6. 이번에는 [Service Usage API]을 요청하는 링크가 나온다.

앞에서와 마찬가지로 링크를 웹브라우저로 붙여넣은 다음 [Service Usage API]을 [사용]으로 변경하고, 웹브라우저의 새로 고침이 완료되면 다시 명령 프롬프트 창으로 이동하여 [Enter]를 눌러 재시도한다. 그러면, quickstart-xxxxxxxxxxxxx라는 프로젝트 이름이 보여야 한다.

사용자 경험에 따라 다른 프로젝트 이름도 보일 수 있지만, 상관없으니 나머지 프로젝트는 무시하자(AutoRclone에 사용할 프로젝트는 하나면 된다. 그 이상 사용하면 구글로부터 불이익을 받을 수 있다고 한다).

이제 서비스 계정(SA)을 생성할 차례다. 명령 프롬프트 창에서,

python gen_sa_accounts.py --create-sas quickstart-xxxxxxxxxxxxx

을 입력하면, 앞에서처럼 또 뭔가를 요구한다. 위 사진처럼 URL을 잘 찾아낸 다음 웹브라우저로 이동하여 [Identity and Access Management (IAM) API]를 [사용]으로 설정한다.

앞의 서비스 계정 생성 명령을 다시 실행하자.

서비스 계정을 트래픽 우회 용도로 사용하는 것에 대한 감시와 제재가 있으므로 「구글 드라이브 API SA(서비스 계정) 제한과 우회 방법」 글을 참고하여 수동으로 서비스 계정을 생성하고 키를 [accounts] 폴더로 다운로드하자. 5개 정도가 적당.

서비스 계정 생성이 성공했다면,

python gen_sa_accounts.py --download-keys quickstart-xxxxxxxxxxxxx

명령으로 서비스 계정의 ID 키를 다운로드 한다. 다운로드가 성공하면, 위 사진처럼 [accounts] 폴더 안에 100개의 서비스 계정 키 파일이 존재하게 된다.

---

여기까지 성공했다면, 99% 성공한 것이나 진배없다.

이제 다음 페이지에서 나머지 과정(구글 그룹스을 생성하고, 이 그룹스에 앞에서 생성한 서비스 계정 100개를 그룹원으로 추가하고, 공유 드라이브 멤버에 그룹스를 추가하고, 마지막으로 동기화 프로세스를 시도하는 작업)을 진행하겠다.

AutoRclone으로 구글 공유 드라이브 동기화 2/2단계

9. 구글 그룹스(https://groups.google.com)로 이동하여 AutoRclone 작업에 사용할 그룹스을 생성한다.

적당한 그룹스 이름을 입력하고, 나머지 설정은 기본값 그대로 사용한다. 그룹스 이메일 주소는 잘 메모해놓자.

10. 이제 서비스 계정 100개를 앞서 생성한 그룹스에 구성원으로 추가해야 하는 약간의 노동이 남았다. 서비스 계정 목록은,

Google Cloud Platform -> IAM 및 관리자 -> 서비스 계정

에서 확인할 수 있다.

지금까지의 작업이 정확했다면, 100개의 계정이 있을 것이고, 이 100개의 계정을 앞서 생성한 그룹스의 구성원으로 추가해야 한다. 이것을 전부 긁어서 복사한 다음 엑셀 같은 스프레드시트에 붙여넣어 이메일 주소만 남기면 작업이 수월해진다.

한 번에 최대 10명을 그룹스 구성원으로 추가할 수 있으며, 이 작업을 10번만 하면 된다. 다만, 중간에 일일 한도(daily limit)를 초과했다며 안 될 수도 있다. 이땐 24시간 후 계속하면 된다.

11. 동기화에 사용할 모든 공유 드라이브 멤버에 앞에서 생성한 그룹스를 추가한다. 권한은 [콘텐츠 관리자] 정도면 된다.

12. 동기화에 사용할 공유 드라이브 ID를 각각 메모한다. 공유 드라이브 ID는 위 사진처럼 URL 주소에서 확인할 수 있다.

13. 이제 대망의 동기화 작업이 남았다. AutoRclone 동기화 명령어는 다음과 같다.

python rclone_sa_magic.py -s xxxx -d yyyy -b 1 –e 100

[-s xxxx] 중 xxxx 부분에 소스 공유 드라이브 ID, [-d yyyy] 중 yyyy 부분에 목적 공유 드라이브 ID를 입력한다. 즉, 소스 공유 드라이브에서 목적 공유 드라이브로 동기화하라는 뜻이다.

-b: [숫자], 숫자에 해당하는 서비스 계정으로 동기화 작업을 시작하라는 뜻이다. 31을 입력하면, 31번째 서비스 계정부터 100번째 서비스 계정까지 순서대로 사용하여 동기화 작업을 하라는 말이 된다.

만약, 첫 번째 서비스 계정으로 750GB를 다 소진했다면, 적절한 숫자를 입력하면 된다.

AutoRclone의 장점은 위 사진에서 알 수 있듯 하나의 서비스 계정이 일일 대역폭 한도(최대한도 750GB, AutoRclone 기본값은 735GB, rclone_sa_magic.py에서 수정 가능)에 도달하면, 자동으로 다음 서비스 계정을 사용하며 나머지 동기화 작업을 수행한다는 것이다.

고로 오늘 서비스 계정 100개를 생성했으니, 하루에 최대 75TB(750GB x 100)의 자료를 동기화할 수 있게 된 것이다. 이것으로 어떤 제재를 받았다는 말은 아직 듣지 못했고, 또 그러하니 지금까지 사용되는 것이 아닌가 싶다.

만약 동기화 작업 도중,

Failed to rc: connection failed: Post "http://localhost:5572/core/stats

같은 에러가 난다면, 동기화할 것이 없다거나, 해당 서비스 계정 대역폭 소진, 해당 서비스 계정 사용 불가 등등의 원인이 있을 수 있다.

만약, 대역폭 문제라면, -b 값을 적절하게 변경하여 사용할 수 없는 서비스 계정을 건너뛰면 된다.

이상으로 AutoRclone을 이용한 구글 공유 드라이브 동기화 방법에 관한 길고 지루하고 부족한 설명을 누군가의 성공을 간절히 기원하며 마치련다. 이것을 터득한 사람은 원리나 사용법은 거의 같지만, 과정은 좀 더 쉽다고 하는 gclone, folderclone 등도 쉽게 사용할 수 있을 것이다.

1 2

폴더, 혹은 누군가 공유해준 자료를 내 공유 드라이브나 내 공유 드라이브의 특정 폴더로 복사 및 동기화하고 싶다면, 해당 폴더로 들어가서 URL 주소 중

https://drive.google.com/drive/u/2/folders/xxxx

에서 xxxx를 공유 드라이브 ID로 사용하면 된다.

만약 위 방법이 다소 어렵다면, 「간단한 구글 공유 드라이브 대 드라이브 복사 도구」를 사용할 수 있다. 그러나 이 방법은 서비스 계정(SA)이 아니라 구글 계정을 이용하기 때문에 750GB 제한에서 벗어날 수는 없다.

좀 더 편리한 자동 동기화 기능을 원하면, 「오라클 VPS를 구글 공유 드라이브 자동 동기화 기계로 활용」 글 참고.

---

팁 하나 더!

AutoRclone의 기본 모드는 복사(copy) 모드다. 이것을 동기화 모드(sync)로 수정하고 싶다면, rclone_sa_magic.py 파일을 수정하면 된다.

rclone_cmd = "rclone --config {} copy ".format(config_file)

에서 ‘ copy ’를 ‘ sync ’로 변경하면 된다.

이렇게 하면 소스 공유 드라이브에서 삭제한 파일은 목적 공유 드라이브에서도 삭제된다.