Dataflow 사용 사례

Dataflow는 스트리밍 및 일괄 파이프라인을 대규모로 지원하도록 설계되었습니다. Dataflow는 오픈소스 Apache Beam 프레임워크를 기반으로 빌드되었습니다.

이 페이지에서는 시작하는 데 도움이 되는 튜토리얼과 사용 사례 예시를 제공합니다.

데이터 이동

이 튜토리얼에서는 Apache Kafka용 관리형 서비스에서 읽고 BigQuery 테이블에 레코드를 쓰는 Dataflow 템플릿을 실행하는 방법을 보여줍니다.

이 튜토리얼에서는 Pub/Sub에서 JSON 인코딩된 메시지를 읽고 BigQuery 테이블에 쓰는 Dataflow 템플릿을 실행하는 방법을 보여줍니다.

이 노트북은 RunInference 변환을 사용하는 Apache Beam 파이프라인에서 ML 모델을 사용하는 방법을 보여줍니다.

이 노트북에서는 vLLM과 GPU를 사용하여 머신러닝 추론을 실행하는 방법을 보여줍니다. vLLM은 LLM 추론 및 서빙을 위한 라이브러리입니다.

일반적인 Dataflow 사용 사례에 적용되는 샘플 코드 및 기술 참조 가이드 링크입니다.

이 튜토리얼에서는 Pub/Sub에서 전자상거래 데이터를 변환하고 데이터를 BigQuery 및 Bigtable에 출력하는 파이프라인을 만듭니다.

Dataflow를 사용하면 단일 파이프라인에서 높은 병렬 워크로드를 실행하여 효율성을 높이고 워크플로를 쉽게 관리할 수 있습니다.