GCP 과금에 관한 자세한 내용은 구글 클라우드 플랫폼에 사이트에 정리되어 있고 GCP 과금 계산기(https://cloud.google.com/products/calculator/)를 이용해 자세하게 계산할 수 있다. 이 문서는 데이터 분석 파이프라인에 사용되는 각 GCP 서비스가 어떤 방식으로 과금 하는지에 대해 대략적으로 이해하는데 도움을 주고자 제작한 문서이다. 해당 글은 모두 도쿄 리전 기준으로 설명한다.
클라우드 펍섭
https://cloud.google.com/pubsub/pricing
월 데이터 전송 10GiB까지 무료이다. 이후에는 데이터 전송량에 따라 1TiB당 60$~40$가 과금된다. 오퍼레이션이 발생하는 데이터 전송을 모두 과금하므로 특정 토픽에 1Tib의 데이터가 퍼블리시(메시지 전송)되었고 구독자가 두개 등록되어 있을 경우 총 데이터 전송량은 3Tib(Message byes + (Message byes x Subscription count))가 발생하게 된다.
클라우드 스토리
https://cloud.google.com/storage/pricing?hl=ko
보관 비용
Regional Storage 기준 월 1GB 보관 비용이 0.023$가 든다.
오퍼레이션 비용
여기에 버킷의 객체의 생성, 삭제, 복사등의 작업에 대한 과금이 발생한다. A등급과 B등급에 따라 10,000개 작업당 0.05$ ~ 0.004$의 비용이 발생한다.
네트워크 트래픽 비용
같은 리전에 존재하는 다른 GCP 서비스를 통해 버킷에 접근 하는 경우와 같은 리전의 버킷간에 데이터 이동과 복사할때는 네트워크 사용량이 청구되지 않난다.
클라우드 데이터플로우
https://cloud.google.com/dataflow/pricing
배치
배치 처리는 잡을 요청 받은뒤에 생성된 워커(VM 인스턴스)가 사용한 vCPU, Memory, Storage 자원 사용량에 따라 과금하는 방식이다. 다음은 워커가 사용된 자원양에 따른 과금액이다. 잡이 요청되면 기본적으로 1 vCPU, 3.75GB memory, 250GB Persistent Disk의 자원을 사용하는 배치 워커가 생성된다.
- 1 vCPU 시간당 $0.0728
- 1 GB Memory 시간당 $0.0046241
- 1 GB Storage 시간당 $0.0000702
다음 화면과 같이 GCP의 웹 UI를 통해 특정잡에서 사용된 모든 워커의 자원 사용량을 확인할 수 있고 시간 기준으로 vCPU 사용량을 출력해주기 때문에 특정 잡을 실행하는데 드는 비용을 쉽게 계산할 수 있다. 화면에 나오는 잡의 모든 워커가 사용한 vCPU 과금양은 0.036(vCPU hr) * $0.0728 = 0.0026208$ 이다.
스트리밍
스트리밍 처리는 24시간 워커가 실행되기 때문에 다음 과금 기준에 24를 곱해주면 워커당 하루의 과금 비용을 알아낼 수 있다. 스트리밍 방식으로 잡 요청할때 워커의 최소~최대 갯수에 따라 워커의 갯수가 자동 조절되며 배치와 다르게 기본적으로 워커가 4 vCPU를 사용하는 것에 유의한다.
- 1 vCPU 시간당 $0.0897 ( 배치에 비해 vCPU 비용이 10%가량 비싸다)
- 1 GB Memory 시간당 $0.0046241
- 1 GB Storage 시간당 $0.0000702
스트리밍 역시 GCP 웹 UI에서 사용된 자원의 양을 살펴볼 수 있다. 539.874 vCPU hr는 모든 워커가 사용한 vCPU 자원량을 의미한다.
빅쿼리
https://cloud.google.com/bigquery/pricing
빅쿼리는 크게 저장 비용과 쿼리 비용을 나눠서 과금된다.
저장 비용
월 10GB 저장량까지는 무료이다. 90일 동안 수정한 테이블에 대한 데이터의 월 비용은 1GB당 0.023$이고 90일동안 수정되지 않은 테이블에 저장된 데이터는 월 비용이 1GB당 0.016$이다.
쿼리 비용
쿼리 비용은 쿼리에 의해 스캔되는 데이터 사이즈(https://cloud.google.com/bigquery/pricing#data)에 따라 결정된다.
월 1TB 까지는 무료이다. 이후에는 1TB당 8.55$가 과금된다.
