Einführung in kontinuierliche Abfragen

In diesem Dokument werden Continuous Queries in BigQuery beschrieben.

BigQuery-Continuous Queries sind SQL-Anweisungen, die kontinuierlich ausgeführt werden. Mit Continuous Queries können Sie eingehende Daten in BigQuery in Echtzeit analysieren. Sie können die von einer kontinuierlichen Abfrage erstellten Ausgaberow in eine BigQuery-Tabelle einfügen oder nach Pub/Sub, Bigtable oder Spanner exportieren. Kontinuierliche Abfragen können Daten verarbeiten, die in BigQuery-Standardtabellen geschrieben wurden. Dazu wird eine der folgenden Methoden verwendet:

Mit kontinuierlichen Abfragen können Sie zeitkritische Aufgaben ausführen, z. B. Erkenntnisse erstellen und sofort darauf reagieren, Echtzeit-Inferenzen für maschinelles Lernen (ML) anwenden und Daten auf andere Plattformen replizieren. So können Sie BigQuery als ereignisgesteuerte Datenverarbeitungs-Engine für die Entscheidungslogik Ihrer Anwendung verwenden.

Das folgende Diagramm zeigt gängige Workflows für kontinuierliche Abfragen:

Diagramm mit gängigen Workflows für kontinuierliche BigQuery-Abfragen, einschließlich Datenerfassung, -verarbeitung und -export zu Zielen wie Bigtable und Pub/Sub.

Anwendungsfälle

Häufige Anwendungsfälle für kontinuierliche Abfragen:

  • Personalisierte Kundenservices: Mit generativer KI können Sie maßgeschneiderte Nachrichten für jede Kundeninteraktion erstellen.
  • Anomalieerkennung: Erstellen Sie Lösungen, mit denen Sie Anomalien und Bedrohungen in komplexen Daten in Echtzeit erkennen können, damit Sie schneller auf Probleme reagieren können.
  • Anpassbare ereignisgesteuerte Pipelines: Verwenden Sie die Integration kontinuierlicher Abfragen mit Pub/Sub, um Downstream-Anwendungen basierend auf eingehenden Daten auszulösen.
  • Datenanreicherung und ‑extraktion: Mit kontinuierlichen Abfragen können Sie Daten in Echtzeit anreichern und transformieren. Dazu verwenden Sie SQL-Funktionen und ML-Modelle.
  • Reverse ETL (Extrahieren, Transformieren, Laden): Reverse ETL in Echtzeit in andere Speichersysteme ausführen, die besser für die Bereitstellung von Anwendungen mit niedriger Latenz geeignet sind. Sie können beispielsweise Ereignisdaten analysieren oder optimieren, die in BigQuery geschrieben werden, und sie dann für die Bereitstellung von Anwendungen in Bigtable oder Spanner streamen.

Unterstützte Vorgänge

Die folgenden Vorgänge werden in kontinuierlichen Abfragen unterstützt:

Autorisierung

Die Google Cloud -Zugriffstokens, die beim Ausführen von Jobs für kontinuierliche Abfragen verwendet werden, haben eine Gültigkeitsdauer (Time-to-Live, TTL) von zwei Tagen, wenn sie von einem Nutzerkonto generiert werden. Daher werden solche Jobs nach zwei Tagen beendet. Die von Dienstkonten generierten Zugriffstokens können länger laufen, müssen aber weiterhin die maximale Abfragelaufzeit einhalten. Weitere Informationen finden Sie unter Kontinuierliche Abfrage mit einem Dienstkonto ausführen.

Standorte

Eine Liste der unterstützten Regionen finden Sie unter Standorte für Continuous Queries in BigQuery.

Beschränkungen

Für kontinuierliche Abfragen gelten die folgenden Einschränkungen:

Reservierungseinschränkungen

  • Sie müssen Reservierungen für die Enterprise- oder Enterprise Plus-Version erstellen, um kontinuierliche Abfragen auszuführen. Für kontinuierliche Abfragen wird das Abrechnungsmodell „On-Demand Compute“ nicht unterstützt.
  • Wenn Sie eine CONTINUOUS Reservierungszuweisung erstellen, ist die zugehörige Reservierung auf maximal 500 Slots beschränkt. Wenn Sie eine Erhöhung dieses Limits anfordern möchten, wenden Sie sich an bq-continuous-queries-feedback@google.com.
  • Sie können keine Reservierungszuweisung erstellen, die in derselben Reservierung einen anderen Jobtyp als eine Reservierungszuweisung für kontinuierliche Abfragen verwendet.
  • Sie können die Nebenläufigkeit von Continuous Querys nicht konfigurieren. BigQuery bestimmt automatisch die Anzahl der kontinuierlichen Abfragen, die gleichzeitig ausgeführt werden können. Dabei werden die verfügbaren Reservierungszuweisungen mit dem Jobtyp CONTINUOUS berücksichtigt.
  • Wenn Sie mehrere kontinuierliche Abfragen mit derselben Reservierung ausführen, werden die verfügbaren Ressourcen möglicherweise nicht fair auf die einzelnen Jobs aufgeteilt, wie in BigQuery-Fairness definiert.

Slot-Autoscaling

Kontinuierliche Abfragen können Slot-Autoscaling verwenden, um die zugewiesene Kapazität dynamisch an Ihre Arbeitslast anzupassen. Wenn die Arbeitslast Ihrer kontinuierlichen Abfragen zu- oder abnimmt, passt BigQuery Ihre Slots dynamisch an.

Nachdem eine Continuous Query ausgeführt wird, wird aktiv auf eingehende Daten gewartet, was Slot-Ressourcen verbraucht. Eine Reservierung mit einer laufenden Continuous Query wird nicht auf null Slots skaliert. Eine inaktive Continuous Query, die hauptsächlich auf eingehende Daten wartet, sollte jedoch nur eine minimale Anzahl von Slots belegen, in der Regel etwa einen Slot.

Freigabe inaktiver Slots

Kontinuierliche Abfragen können die Freigabe inaktiver Slots verwenden, um nicht genutzte Slotressourcen für andere Reservierungen und Jobtypen freizugeben.

  • Für die Ausführung einer kontinuierlichen Abfrage ist weiterhin eine CONTINUOUS-Reservierungszuweisung erforderlich. Es kann nicht nur auf inaktive Slots aus anderen Reservierungen zurückgegriffen werden. Daher ist für die Zuweisung einer CONTINUOUS-Reservierung entweder eine Slot-Referenz ungleich null oder eine Slot-Autoscaling-Konfiguration ungleich null erforderlich.
  • Nur inaktive Referenz- oder zugesicherte Slots aus einer CONTINUOUS-Reservierungszuweisung können freigegeben werden. Automatisch skalierte Slots können nicht als inaktive Slots für andere Reservierungen freigegeben werden.

Preise

Für kontinuierliche Abfragen gelten die BigQuery-Kapazitätsrechenpreise, die in Slots gemessen werden. Zum Ausführen kontinuierlicher Abfragen benötigen Sie eine Reservierung mit dem Enterprise oder Enterprise Plus und eine Reservierungszuweisung mit dem CONTINUOUS-Jobtyp.

Die Nutzung anderer BigQuery-Ressourcen wie Datenaufnahme und ‑speicherung wird zu den in den BigQuery-Preisen angegebenen Preisen berechnet.

Die Nutzung anderer Dienste, die kontinuierliche Abfrageergebnisse empfangen oder während der Verarbeitung kontinuierlicher Abfragen aufgerufen werden, wird zu den für diese Dienste veröffentlichten Preisen berechnet. Informationen zu den Preisen für andere Google Cloud -Dienste, die von kontinuierlichen Abfragen verwendet werden, finden Sie in den folgenden Themen:

Nächste Schritte

Erstellen Sie eine kontinuierliche Abfrage.