BigQuery용 JDBC 드라이버 사용

BigQuery용 Java 데이터베이스 연결 (JDBC) 드라이버는 Java 애플리케이션을 BigQuery에 연결하여 원하는 도구 및 인프라로 BigQuery 기능을 사용할 수 있도록 지원합니다. Java가 아닌 애플리케이션을 BigQuery에 연결하려면 BigQuery용 Simba Open Database Connectivity (ODBC) 드라이버를 사용하세요.

제한사항

BigQuery용 JDBC 드라이버에는 다음과 같은 제한사항이 적용됩니다.

• 이 드라이버는 BigQuery에만 해당하며 다른 제품 또는 서비스에는 사용할 수 없습니다.
• INTERVAL 데이터 유형은 BigQuery Storage Read API에서 지원되지 않습니다.
• 모든 데이터 조작 언어 (DML) 제한사항이 적용됩니다.

시작하기 전에

1. JDBC 드라이버, Apache Maven, java.sql 패키지에 익숙해야 합니다.
2. 시스템이 Java 런타임 환경 (JRE) 8.0 이상으로 구성되어 있는지 확인합니다. JRE 버전 확인에 관한 자세한 내용은 JRE 환경 확인을 참고하세요.

3. BigQuery에 인증하고 나중에 BigQuery용 JDBC 드라이버와 연결을 설정할 때 사용되는 다음 정보를 기록해 둡니다. 사용하는 인증 방법에 해당하는 정보만 기록하면 됩니다.

   인증 방법	인증 정보	예시	연결 속성 (나중에 설정)
   표준 서비스 계정	서비스 계정 이메일	bq-jdbc-sa@mytestproject.iam.gserviceaccount.com	OAuthServiceAcctEmail
   	서비스 계정 키 (JSON 객체)	my-sa-key	OAuthPvtKey
   서비스 계정 키 파일	서비스 계정 키 파일 (전체 경로)	path/to/file/secret.json	OAuthPvtKeyPath
   Google 사용자 계정	클라이언트 ID	123-abc.apps.googleusercontent.com	OAuthClientId
   	클라이언트 보안 비밀번호	_aB-C1D_E2fGh3Ij4kL5m6No7p8QR9sT0uV	OAuthClientSecret
   사전 생성된 액세스 토큰	액세스 토큰	ya29.a0AfH6SMCiH1L-x_yZ	OAuthAccessToken
   사전 생성된 갱신 토큰	갱신 토큰	1/fFAGRNJru1FTz70BzhT3Zg	OAuthRefreshToken
   	클라이언트 ID	123-abc.apps.googleusercontent.com	OAuthClientId
   	클라이언트 보안 비밀번호	_aB-C1D_E2fGh3Ij4kL5m6No7p8QR9sT0uV	OAuthClientSecret
   애플리케이션 기본 사용자 인증 정보	없음	해당 사항 없음	해당 사항 없음
   구성 파일	구성 파일 (JSON 객체 또는 전체 경로)	path/to/file/secret.json	OAuthPvtKey
   외부 계정 구성 객체	계정 구성 객체	external_account_configuration_object	OAuthPvtKey
   기타	외부 계정 구성 파일의 잠재고객 속성	//iam.googleapis.com/projects/my-project/locations/US-EAST1/workloadIdentityPools/my-pool-/providers/my-provider	BYOID_AudienceUri
   	토큰 가져오기 및 환경 정보 파일	{\"file\":\"/path/to/file\"}	BYOID_CredentialSource
   	사용자 프로젝트 (직원 풀을 사용하는 경우에만)	my_project	BYOID_PoolUserProject
   	서비스 계정 가장 URI (인력 풀을 사용하는 경우에만 해당)	my-sa	BYOID_SA_Impersonation_Uri
   	토큰 교환 사양에 기반한 보안 토큰 서비스 토큰	urn:ietf:params:oauth:tokentype:id_token	BYOID_SubjectTokenType
   	보안 토큰 서비스 토큰 교환 엔드포인트	https://sts.googleapis.com/v1/token	BYOID_TokenUri

개발 환경 구성

BigQuery용 JDBC 드라이버를 사용하여 개발 환경을 구성하려면 다음 단계를 따르세요.

1. 다음 JDBC 패키지 중 하나를 다운로드합니다.

   • Uber JAR 모든 종속 항목이 포함된 JAR 파일
   • 음영 처리된 Uber JAR 모든 종속 항목이 포함된 음영 처리된 JAR 파일
   • 종속 항목이 있는 씬 JAR 씬 JAR 파일과 모든 종속 항목이 포함된 zip 파일입니다.

2. Java 컴파일러와 런타임이 필요한 JDBC 클래스를 찾을 수 있도록 다운로드한 JAR 파일을 클래스 경로에 추가합니다. 클래스 경로에 파일을 추가하는 방법에 대한 자세한 내용은 클래스 경로 설정을 참고하세요.

3. 빌드 파일에 다음 종속 항목을 추가합니다.

   <dependency>
       <groupId>com.google.cloud</groupId>
       <artifactId>google-cloud-bigquery-jdbc</artifactId>
       <version>0.0.1</version>
       <scope>system</scope>
       <systemPath>path/to/file/google-jdbc-jar-with-dependencies.jar</systemPath>
   </dependency>

4. Gradle 프로젝트를 사용하는 경우 빌드 파일에 다음을 추가합니다.

   dependencies {
   // ... other dependencies
   implementation files('path/to/file/google-jdbc-jar-with-dependencies.jar')
   }

연결 설정

BigQuery용 JDBC 드라이버를 사용하여 Java 애플리케이션과 BigQuery 간의 연결을 설정하려면 다음 단계를 따르세요.

1. BigQuery용 JDBC 드라이버의 연결 문자열을 확인합니다. 이 문자열은 Java 애플리케이션과 BigQuery 간의 연결을 설정하는 데 필요한 모든 정보를 캡처합니다. 연결 문자열의 형식은 다음과 같습니다.

   jdbc:bigquery://HOST:PORT;ProjectId=PROJECT_ID;OAuthType=AUTH_TYPE;AUTH_PROPS;OTHER_PROPS

   다음을 바꿉니다.

   • HOST: 서버의 DNS 또는 IP 주소입니다.
   • PORT: TCP 포트 번호입니다.
   • PROJECT_ID: BigQuery 프로젝트의 ID입니다.
   • AUTH_TYPE: 사용한 인증 유형을 지정하는 숫자입니다. 다음 필드 중 하나는 사용해야 합니다.
     • 0: 서비스 계정 인증 (표준 및 키 파일)
     • 1: Google 사용자 계정 인증
     • 2: 사전 생성된 갱신 또는 액세스 토큰 인증
     • 3: 애플리케이션 기본 사용자 인증 정보 인증
     • 4: 기타 인증 방법
   • AUTH_PROPS: BigQuery에 인증할 때 기록한 인증 정보입니다. property_1=value_1; property_2=value_2;... 형식으로 나열됩니다. 예를 들어 서비스 계정 키 파일로 인증한 경우 OAuthPvtKeyPath=path/to/file/secret.json입니다.
   • OTHER_PROPS (선택사항): JDBC 드라이버의 추가 연결 속성으로, property_1=value_1; property_2=value_2;... 형식으로 나열됩니다. 연결 속성의 전체 목록은 연결 속성을 참고하세요.

2. DriverManager 또는 DataSource 클래스를 사용하여 Java 애플리케이션을 BigQuery용 JDBC 드라이버에 연결합니다.

   • DriverManager 클래스와 연결합니다.

     import java.sql.Connection;
     import java.sql.DriverManager;
     
     private static Connection getJdbcConnectionDM(){
       Connection connection = DriverManager.getConnection(CONNECTION_STRING);
       return connection;
     }

     CONNECTION_STRING를 이전 단계의 연결 문자열로 바꿉니다.

   • DataSource 클래스와 연결합니다.

     import com.google.cloud.bigquery.jdbc.DataSource;
     import java.sql.Connection;
     import java.sql.SQLException;
     
     private static public Connection getJdbcConnectionDS() throws SQLException {
       Connection connection = null;
       DataSource dataSource = new com.google.cloud.bigquery.jdbc.DataSource();
       dataSource.setURL(CONNECTION_STRING);
       connection = dataSource.getConnection();
       return connection;
     }

     CONNECTION_STRING를 이전 단계의 연결 문자열로 바꿉니다.

     DataSource 클래스에는 연결 문자열에 포함하는 대신 연결 속성을 설정하는 데 사용할 수 있는 setter 메서드도 있습니다. 다음은 그 예시입니다.

     private static Connection getConnection() throws SQLException {
       DataSource ds = new DataSource();
       ds.setURL(jdbc:bigquery://https://www.googleapis.com/bigquery/v2:443;);
       ds.setAuthType(3);  // Application Default Credentials
       ds.setProjectId("MyTestProject");
       ds.setEnableHighThroughputAPI(true);
       ds.setLogLevel("6");
       ds.setUseQueryCache(false);
       return ds.getConnection();
     }

연결 속성

JDBC 드라이버 연결 속성은 데이터베이스에 연결을 설정할 때 연결 문자열에 포함하거나 setter 메서드를 통해 전달하는 구성 매개변수입니다. 다음 연결 속성은 BigQuery용 JDBC 드라이버에서 지원됩니다.

드라이버로 쿼리 실행

JDBC 드라이버를 통해 BigQuery에 연결된 Java 애플리케이션을 사용하면 이제 표준 JDBC 프로세스를 통해 개발 환경에서 쿼리를 실행할 수 있습니다. 모든 BigQuery 할당량 및 한도가 적용됩니다.

데이터 유형 매핑

BigQuery용 JDBC 드라이버를 통해 쿼리를 실행하면 다음 데이터 유형 매핑이 발생합니다.

예시

다음 섹션에서는 BigQuery용 JDBC 드라이버를 통해 BigQuery 기능을 사용하는 예를 제공합니다.

위치 매개변수

다음 예에서는 위치 매개변수를 사용하여 쿼리를 실행합니다.

PreparedStatement preparedStatement = connection.prepareStatement(
    "SELECT * FROM MyTestTable where testColumn = ?");
preparedStatement.setString(1, "string2");
ResultSet resultSet = statement.executeQuery(selectQuery);

중첩되고 반복되는 레코드

다음 예에서는 Struct 데이터의 기본 레코드를 쿼리합니다.

ResultSet resultSet = statement.executeQuery("SELECT STRUCT(\"Adam\" as name, 5 as age)");
    resultSet.next();
    Struct obj = (Struct) resultSet.getObject(1);
    System.out.println(obj.toString());

드라이버는 기본 레코드를 구조체 객체 또는 JSON 객체의 문자열 표현으로 반환합니다. 결과는 다음과 비슷합니다.

{
  "v": {
    "f": [
      {
        "v": "Adam"
      },
      {
        "v": "5"
      }
    ]
  }
}

다음 예에서는 Struct 객체의 하위 구성요소를 쿼리합니다.

ResultSet resultSet = statement.executeQuery("SELECT STRUCT(\"Adam\" as name, 5 as age)");
    resultSet.next();
    Struct structObject = (Struct) resultSet.getObject(1);
    Object[] structComponents = structObject.getAttributes();
    for (Object component : structComponents){
      System.out.println(component.toString());
    }

다음 예에서는 반복 데이터의 표준 배열을 쿼리한 후 결과를 확인합니다.

// Execute Query
ResultSet resultSet = statement.executeQuery("SELECT [1,2,3]");
resultSet.next();
Object[] arrayObject = (Object[]) resultSet.getArray(1).getArray();

// Verify Result
int count =0;
for (; count < arrayObject.length; count++) {
  System.out.println(arrayObject[count]);
}

다음 예에서는 반복 데이터의 Struct 배열을 쿼리한 다음 결과를 확인합니다.

// Execute Query
ResultSet resultSet = statement.executeQuery("SELECT "
    + "[STRUCT(\"Adam\" as name, 12 as age), "
    + "STRUCT(\"Lily\" as name, 17 as age)]");

Struct[] arrayObject = (Struct[]) resultSet.getArray(1).getArray();

// Verify Result
for (int count =0; count < arrayObject.length; count++) {
  System.out.println(arrayObject[count]);
}

일괄 삽입

다음 예에서는 executeBatch 메서드를 사용하여 대량 삽입 작업을 실행합니다.

Connection conn = DriverManager.getConnection(connectionUrl);
PreparedStatement statement = null;
Statement st = conn.createStatement();
final String insertQuery = String.format(
        "INSERT INTO `%s.%s.%s` "
      + " (StringField, IntegerField, BooleanField) VALUES(?, ?, ?);",
        DEFAULT_CATALOG, DATASET, TABLE_NAME);

statement = conn.prepareStatement(insertQuery1);

for (int i=0; i<2000; ++i) {
      statement.setString(1, i+"StringField");
      statement.setInt(2, i);
      statement.setBoolean(3, true);
      statement.addBatch();
}

statement.executeBatch();

가격 책정

BigQuery용 JDBC 드라이버는 무료로 다운로드할 수 있으며 드라이버를 사용하는 데 추가 라이선스가 필요하지 않습니다. 하지만 드라이버를 사용하는 경우 표준 BigQuery 가격 책정이 적용됩니다.

다음 단계

• BigQuery용 Simba ODBC 드라이버에 대해 자세히 알아보세요.
• 다른 BigQuery 개발자 도구를 살펴보세요.