[ftp] Amazon S3 버킷에 대한 FTP / SFTP 액세스

최신 정보

S3는 이제 IAM과 통합되고 aws-cli를 사용하여 관리 할 수있는 S3 용 완전 관리 SFTP 게이트웨이 서비스를 제공합니다 .

---

이것이 완벽한 해결책이 아닌 이론적이고 실용적인 이유가 있지만 효과가 있습니다 …

EC2 또는 자체 데이터 센터에서 Linux 서버에 FTP / SFTP 서비스 (예 : proftpd)를 설치 한 다음 s3fs를 사용하여 ftp 서버가 chroot로 구성된 파일 시스템에 버킷을 마운트하십시오 .

S3에서 콘텐츠를 제공하는 클라이언트가 있으며 ftp 푸시 만 지원하는 타사에서 콘텐츠를 제공합니다 … S3과 실제 파일 시스템 간의 임피던스 불일치로 인해 약간의 망설임이 있지만 적절한 FTP / S3 게이트웨이 서버 소프트웨어 패키지를 작성하는 시간 (여전히이 중 하나를 수행 할 계획 임)은 몇 개월 전에이 솔루션을 제안하고 배포했으며 시스템에 아무런 문제도보고하지 않았습니다.

보너스로, proftpd는 각 사용자를 자신의 홈 디렉토리에 chroot 할 수 있고 proftpd 사용자가 소유 한 파일이 실제로 로그인 한 사용자가 소유하고 있다고 “척”할 수 있기 때문에 각 ftp 사용자를 버킷의 “하위 디렉토리”이며 다른 사용자의 파일에 액세스 할 수 없게합니다.

---

그러나 기본 구성에 문제가 있습니다.

수십 또는 수백 개의 파일을 얻기 시작하면 디렉토리 목록을 가져올 때 문제가 나타납니다. ProFTPd는 .ftpaccess디렉토리의 각 파일에 대해 반복 해서 파일 을 읽고 시도하기 때문에 , .ftpaccess사용자가 볼 수 있는지 확인합니다.

ProFTPd에서이 동작을 비활성화 할 수 있지만 가장 올바른 구성은 -o enable_noobj_cache -o stat_cache_expire=30s3fs에서 추가 옵션을 구성하는 것입니다 .

-o stat_cache_expire (기본값은 만료되지 않음)

통계 캐시의 항목에 만료 시간 (초)을 지정하십시오.

이 옵션을 사용하지 않으면 S3에 대한 요청이 줄어들지 만 외부 프로세스 또는 s3fs의 다른 인스턴스가 버킷의 객체를 수정하는 경우 객체에 대한 변경 사항을 항상 안정적으로 발견 할 수는 없습니다. 내 시스템에서 “30”값이 임의로 선택되었습니다.

-o enable_noobj_cache (기본값은 비활성화입니다)

존재하지 않는 오브젝트에 대해 캐시 항목을 사용 가능하게하십시오. s3fs가 존재하지 않는 디렉토리를 인식하고 파일 또는 서브 디렉토리 자체를 가지고 있기 때문에 s3fs가 일부 명령을 수행 할 때 s3fs는 항상 파일 (또는 서브 디렉토리)이 오브젝트 (경로) 아래에 있는지 확인해야합니다. ListBucket 요청이 증가하고 성능이 저하됩니다. 성능을 위해이 옵션을 지정할 수 있습니다. s3fs는 오브젝트 (파일 또는 디렉토리)가 존재하지 않는 통계 캐시에 기억합니다.

이 옵션은 s3fs가 .ftpaccess존재하지 않았 음을 기억하도록 합니다.

---

위의 변경 사항으로 해결되는 ProFTPd에서 발생할 수있는 성능 문제와 관련이없는 경우 s3fs에서도 활성화해야합니다 -o enable_content_md5.

-o enable_content_md5 (기본값은 비활성화입니다)

content-md5 헤더로 멀티 파트없이 업로드 된 데이터를 확인합니다. 멀티 파트 게시없이 객체를 업로드 할 때 “Content-MD5″헤더를 보낼 수 있습니다. 이 옵션을 사용하면 작은 객체를 업로드 할 때 s3fs의 성능에 영향을 미칩니다. s3fs는 큰 객체를 업로드 할 때 항상 MD5를 확인하기 때문에이 옵션은 큰 객체에 영향을 미치지 않습니다.

이 옵션은 절대 옵션이 아니어야했던 옵션입니다.이 옵션을 사용하지 않으면 성능에 대한 무시할만한 이점에 대한 중요 무결성 검사를 무시하므로 항상 활성화해야합니다. Content-MD5:헤더 를 사용하여 객체를 S3에 업로드하면 S3 는 체크섬의 유효성을 검사하고 전송 중에 손상된 객체를 거부합니다. 그러나 그렇지 않을 수도 있지만이 안전 점검을 비활성화하는 것은 근시안적인 것 같습니다.

^{인용문은 s3fs의 맨 페이지에서 제공됩니다. 문법 오류는 원문에 있습니다.}

---

답변