관리형 I/O는 Apache Kafka에 대한 읽기 및 쓰기를 지원합니다.
요구사항
다음 SDK는 Apache Kafka용 관리형 I/O를 지원합니다.
- Java용 Apache Beam SDK 버전 2.58.0 이상
- Python용 Apache Beam SDK 버전 2.61.0 이상
구성
BigQuery용 관리형 I/O는 다음 구성 파라미터를 지원합니다.
KAFKA
읽기
구성 | 유형 | 설명 |
---|---|---|
bootstrap_servers |
str
|
Kafka 클러스터에 대한 초기 연결을 설정하는 데 사용할 호스트/포트 쌍 목록입니다. 클라이언트는 부트스트랩에 지정된 서버와 관계없이 모든 서버를 사용합니다. 이 목록은 전체 서버 집합을 검색하는 데 사용되는 초기 호스트에만 영향을 미칩니다. 이 목록은 `host1:port1,host2:port2,...` 형식이어야 합니다. |
주제 |
str
|
해당 없음 |
confluent_schema_registry_subject |
str
|
해당 없음 |
confluent_schema_registry_url |
str
|
해당 없음 |
consumer_config_updates |
map[str, str]
|
Kafka 소비자의 구성 파라미터 역할을 하는 키-값 쌍 목록입니다. 이러한 구성 대부분은 필요하지 않지만 Kafka 소비자를 맞춤설정해야 하는 경우 이를 사용할 수 있습니다. 자세한 목록은 https://docs.confluent.io/platform/current/installation/configuration/consumer-configs.html을 참조하세요. |
file_descriptor_path |
str
|
프로토콜 버퍼 파일 설명자 세트 파일의 경로입니다. 이 파일은 스키마 정의 및 메시지 직렬화에 사용됩니다. |
서식 |
str
|
Kafka에 저장된 데이터의 인코딩 형식입니다. 유효한 옵션은 RAW,STRING,AVRO,JSON,PROTO입니다. |
message_name |
str
|
스키마 추출 및 데이터 변환에 사용할 프로토콜 버퍼 메시지의 이름입니다. |
schema |
str
|
Kafka 주제에서 데이터가 인코딩되는 스키마입니다. AVRO 데이터의 경우 AVRO 스키마 구문(https://avro.apache.org/docs/1.10.2/spec.html#schemas)으로 정의된 스키마입니다. JSON 데이터의 경우 JSON 스키마 구문(https://json-schema.org/)으로 정의된 스키마입니다. Confluent 스키마 레지스트리 URL이 제공되면 이 필드는 무시되고 스키마는 Confluent 스키마 레지스트리에서 가져옵니다. |
KAFKA
쓰기
구성 | 유형 | 설명 |
---|---|---|
bootstrap_servers |
str
|
Kafka 클러스터에 대한 초기 연결을 설정하는 데 사용할 호스트/포트 쌍 목록입니다. 클라이언트는 부트스트랩에 지정된 서버와 관계없이 모든 서버를 사용합니다. 이 목록은 전체 서버 집합을 검색하는 데 사용되는 초기 호스트에만 영향을 미칩니다. | 형식: host1:port1,host2:port2,... |
서식 |
str
|
Kafka에 저장된 데이터의 인코딩 형식입니다. 유효한 옵션은 RAW,JSON,AVRO,PROTO입니다. |
주제 |
str
|
해당 없음 |
file_descriptor_path |
str
|
프로토콜 버퍼 파일 설명자 세트 파일의 경로입니다. 이 파일은 스키마 정의 및 메시지 직렬화에 사용됩니다. |
message_name |
str
|
스키마 추출 및 데이터 변환에 사용할 프로토콜 버퍼 메시지의 이름입니다. |
producer_config_updates |
map[str, str]
|
Kafka 프로듀서의 구성 파라미터 역할을 하는 키-값 쌍 목록입니다. 이러한 구성 대부분은 필요하지 않지만 Kafka 프로듀서를 맞춤설정해야 하는 경우 이를 사용할 수 있습니다. 자세한 목록은 https://docs.confluent.io/platform/current/installation/configuration/producer-configs.html을 참조하세요. |
schema |
str
|
해당 없음 |
다음 단계
자세한 내용과 코드 예시는 다음 주제를 참조하세요.