클라우드에서 삭제한 파일은 서버에서도 영영 사라지는 것일까?

<클라우드에 저장된 개인 자료들은 결국 어떻게 될까?>

혈전 중인 중국의 개인 클라우드 시장

내 블로그엔 클라우드 관련 글에 대한 글이 꽤 있다. 그런데 아쉽게도 대부분이 중국산이다. 왜 그럴까?

첫 번째 이유는 나의 무능할 뿐만 아니라 게으르기도 한 검색 능력.
두 번째 이유는 아마도 (중국을 제외한) 세계 개인 클라우드 시장은 이미 (구글, 마이크로소프트, 드롭박스 등등의) 몇몇 대기업에 의해 평정되었다시피 해서 신규 서비스가 비집고 들어갈 틈이 없기 때문(한마디로 포화 상태?).
세 번째 이유는 기업이 아닌 개인을 대상으로 하는 클라우드 서비스만으로는 이윤을 남기기가 어렵기 때문.

그런데도 중국은 꾸준한 경제 성장과 엄청난 내수 때문인지 바이두 넷디스크가 안착했다고 생각한 개인 클라우드 시장에 작년부터 알리바바와 쉰레이, 123免费云, 夸克网盘, mediatrack, PikPak 등 새로운 도전자들이 줄줄이 등장해 (360 클라우드가 종말을 고한) 2016년 이후 또 한 차례 전쟁 같은 경쟁이 치러지는 중이다.

아무튼, 오늘 궁금한 것은 이렇게 많은 클라우드 서버에 저장된 파일들은 (회사가 망하거나 전쟁 등으로 서버가 파괴될 때까지) 영구적으로 보관되는 것일까? 아니면 PC처럼 사용자가 삭제하는 즉시 서버에서도 삭제되는 것일까?

개인 클라우드에서 삭제되지 않는 개인 자료들

사용자는 클라우드 계정에서 파일을 지움으로써 클라우드 상의 모든 파일이 다 사라졌다고 생각하겠지만, 사실은 전혀 그렇지 않다. 「“삭제한 파일도 다시 보자” 클라우드 ‘좀비 데이터’ 경계령」

위 기사처럼 사용자가 삭제해도 페이스북처럼 고의로 삭제하지 않고 보관하는 예도 있고, 아이클라우드나 드롭박스처럼 운영 • 관리상의 실수로 삭제되지 않는 예도 있다.

대부분의 개인 클라우드 서비스는 윈도우의 휴지통처럼 사용자에게 직접 영구 삭제 옵션을 제공하고, 사용자는 휴지통을 비우는 즉시 휴지통에 있던 자료들은 서버에서도 삭제되는 것으로 인식한다. 아주 상식적으로 말이다.

클라우드 회사는 사용자가 휴지통을 비우면 서버에서도 영구적으로 삭제된다고 말하지만, 우리는 이것을 믿을만한 근거가 없다. 왜냐하면, 회사 측의 주장대로 사용자가 휴지통을 비우는 즉시 서버에서도 파일들이 복구 불가능하게 완벽히 삭제되는지, 아니면 그러는 척하고 뒤로는 별도로 보관하는지 등을 확인할 길이 없기 때문이다.

개인적으론 삭제하지 않고 보관해도 그만, 삭제해도 그만이지만 말이다.

하지만, 바이두 넷디스크는 이것을 확인할 방법이 있다.

해시값을 활용해 저장 공간을 대폭 절약한 바이두

바이두 넷디스크는 파일 해시값 비교를 통해 클라우드 서버에 중복 파일이 저장되는 것을 방지할 수 있으므로 저장 공간 관리 면에서는 매우 효율적이다. 그런 알뜰한 살림 덕분에 무료 사용자에게도 최대 10TB(2TB x 다섯 계정)의 공간을 제공할 수 있으리라(구글 같은 다른 클라우드도 이 방법을 쓰지 않는다고는 장담할 수 없다).

이때 사용하는 특정 형식(해시값과 파일 크기 등의 조합)의 코드를 초전(秒传) 링크라고 부르는데 이에 대한 좀 더 자세한 것은 「바이두 표준 추출 코드로 4G 이상 빠른 업로드」 글을 참고하고, 우리가 바이두 넷디스크 PC 클라이언트로 파일을 올릴 때 업로드 트래픽 없이 ‘빠른 전송’으로 표시되면서 ‘뿅’하고 바로 업로드되는 이유가 바로 이 기술 덕분이다.

그래서 한 번 곰곰이 생각해봤다. 만약에 휴지통에서 삭제한 파일의 초전 링크를 알고 있다면 어떤 일이 벌어질까?

초전(秒传) 링크로 영구 삭제된 줄 알았던 파일 복구!

서론이 엿가락처럼 길어졌다. 그럴 만도 한 것이 오늘 테스트는 무려 한 달이 넘는 시간을 들여야만 결과를 알 수 있는, 내 블로그 역사상 가장 긴 시간을 소비한 역대급 테스트이기 때문이다.

이제 그 한 달의 여정을 들여다보자.

① 테스트 파일(마보융 작품집.epub)을 바이두에 처음 업로드할 때 ‘빠른 전송’ 아닌 트래픽이 소비된 일반 업로드로 파일이 저장되었다. 이 말은 테스트에 사용한 파일(원본을 약간 조작함으로써 해시값이 변경된)이 바이두 서버에 없었던 새 파일이라는 말이다.

② 재차 업로드할 땐 앞에서도 설명했듯 이미 서버에 저장된 파일이라 트래픽 소비 없이 ‘빠른 전송’으로 처리되었다.

테스트 파일의 초전(秒传) 링크 값을 구하는 방법은 두 가지가 있다. 「바이두 표준 추출 코드로 4G 이상 빠른 업로드」에서 소개한 도구와 BaiduPCS-Go에서 추출한 코드.

이렇게 얻은 초전 링크는 BaiduPCS-Go의 rapidupload 명령어를 사용해 초전송(빠른 업로드)할 수 있다.

참고로 BaiduPCS-Go는 export 명령으로 폴더 안에 있는 파일들의 초전 링크를 텍스트 파일로 저장할 수 있다.

테스트 파일을 삭제하고, 휴지통을 깨끗하게 비우고 나서 한 달 하고도 이틀이 지난 5월 18일, 테스트 파일의 추출 코드를 BaiduPCS-Go의 rapidupload 명령어를 통해 입력해봤다.

죽은 사람처럼 이 세상에서 완벽히 소멸하였던 것으로 여겨진 파일이 마법처럼 나타났다.

빅데이터 시대의 빅브라더 경쟁

이로써 알 수 있는 사실은 바이두 넷디스크 같은 경우 사용자가 삭제하고 휴지통까지 비워도 최소 한 달하고 이틀은 서버 어딘가에 보관되어 있고, 오늘처럼 초전(秒传) 링크만 알고 있으면 서버 어딘가에 숨어 있던 그 파일을 즉각 내 디스크로 모셔 올 수 있다는 것이다.

1년 후에도 영매술로 죽은 사람을 불러오듯 초전(秒传) 링크로 삭제된 파일을 불러올 수 있을까?

만약 바이두가 사용자가 삭제한 파일을 영구 보관한다면, 초전(秒传) 링크를 활용하면 바이두 넷디스크는 무료 무제한 클라우드가 되는 셈인데? 업로드하고 초전 링크 생성하고, 삭제하고...

또한, 클라우드 회사가 사용자가 삭제한 파일을 몇 개월 정도가 아닌 영구적으로 보관한다면 내가 버린 디지털 잡동사니들을 대신 보관해주는, 내가 죽은 이후에도 나의 흔적들을 보관해주는 클라우드 회사를 기껍게 여겨야 할까? 아니면 빅데이터 시대의 빅브라더가 되려는 점진적인 조용한 야심으로서 우려해야 할까?

하물며 이것이 비단 바이두만의 일일까?

개인 데이터와 인공지능이 야합하여 빅데이터로 활용되고 빅데이터가 곧 권력이자 돈이 되는 작금에 구글, 드롭박스, 원드라이브, 페이스북 같은 IT 대기업이 사용자가 삭제한 데이터를 별도로 보관하지 않을 것이라고 믿는 것은 지극히 순진한 발상일까? 아니면 지극히 정상적인 상식일까?

2023/05/29: 1년 전 삭제한 파일 복원 성공

윗글을 테스트하면서 삭제한 파일을 대략 1년하고도 열흘이 지난 오늘(2023년 5월 29일) 초전 링크를 사용해 복구하는 데 성공했다. 다만, 바이두 웹페이지에서 (초전 링크 관련) 템퍼몽키 스크립트를 사용했을 땐 복원 실패했고, BaiduPCS-Go의 rapidupload 명령어로 복구 성공했다.

이로써 바이두 넷디스크에 한 번 저장된 파일은 사용자가 삭제하더라도 서버 어딘가에 영구 보관되는 것으로 추측된다. BaiduPCS-Go의 rapidupload 명령어를 계속 사용할 수 있다면, 무제한 클라우드로 활용할 수도 있을 것 같다.