Airbyte extrahiert Daten aus unterschiedlichen Quellen und APIs und führt sie in einer zentralen Plattform zusammen – darunter nun auch Vektordatenbanken.
Die auf ELT-Prozesse zugeschnittene Datenintegration splattform Airbyte liegt ab sofort in Version 1.0 vor – nach rund vierjähriger Entwicklungszeit, wie das Airbyte-Team in der offiziellen Ankündigung bekannt gab.
Das erste Major Release der Open-Source-Plattform wartet demzufolge auch mit einer Reihe von Neuerungen auf, die eine flexiblere, zuverlässigere und skalierbarere Datenintegration ermöglichen sollen – darunter beispielsweise der Connector Builder, ein neues Command Line Tool sowie Support für OpenID Connect und Okta.Airbyte ermöglicht es, Daten aus unterschiedlichen Datenbanken oder APIs zu replizieren und in einer zentralen Datenplattform zu konsolidieren. Für die flexible Anbindung an Data Warehouses, Data Lakes oder Data Lakehouses stellteine Vielzahl von Konnektoren bereit, die zum Teil auch aus der Community beigesteuert werden. Eine zentrale Rolle nimmt dabei der Connector Builder ein, mit dem sich neue individuelle Konnektoren erstellen und direkt in den Airbyte Marketplace integrieren lassen, wo automatisierte Testroutinen zur Qualitätssicherung beitragen. Mit Freigabe von Version 1.0 der Plattform stehen nun auch offizielle Konnektoren für die Anbindung verschiedener Vektordatenbanken wie pgVector, Pinecone und Snowflake Cortex zur Verfügung. Für die Verarbeitung sowohl strukturierter als auch unstrukturierter Daten lässt sich Airbyte entweder in einer selbstgehosteten Variante nutzen oder als gemanagter Cloud-Dienst. Zur Installation und dem containerisierten Betrieb der Datenintegrationsplattform hat Airbyte lange Zeit auf Docker Compose gebaut, treibt für lokale Deployments nun aber den Wechsel auf die CLI abctl voran, mit der sich auch die Authentifizierung bei Self-Managed-Installationen verwalten lässt. Eine ergänzendeWer einen erweiterten Funktionsumfang und umfassenderen Service benötigt, erhält mit der Self-Managed-Enterprise-Version unter anderem Zugangsverwaltung und Multi-Tenancy. Ebenso stehen Single-Sign-on mit Okta und OpenID Connect sowie die Möglichkeit, sensible Daten zu maskieren, zur Verfügung. Weitere Neuerungen in Airbyte 1.0 wie eine überarbeitete Workload-Architektur und die erweiterten Benachrichtigungen sollen allen Nutzerinnen und Nutzern zugutekommen und zu mehr Verlässlichkeit sowie Resilienz beitragen. Einen Überblick aller Änderungen im Major Release bietet das
Data Lake Data Lakehouse Data Warehouse Datenbanken Datenintegration ETL
Deutschland Neuesten Nachrichten, Deutschland Schlagzeilen
Similar News:Sie können auch ähnliche Nachrichten wie diese lesen, die wir aus anderen Nachrichtenquellen gesammelt haben.
Ikea bietet neuen Kundenservice und führt Second-Hand-Plattform einEbay, Craigslist und Co dominieren den Markt für Second-Hand-Produkte. Hier werden auch IKEA-Produkte verkauft. Und darin sieht der schwedische Möbelkonzern eine Chance. Denn hier kann Geld verdient werden.
Weiterlesen »
Studie: Arbeitnehmer wünschen sich flexiblere ArbeitszeitenLaut einer Studie der Bertelsmann Stiftung wünschen sich viele Beschäftigte flexiblere Arbeitszeiten, Familienfreundlichkeit, weniger Teilzeit.
Weiterlesen »
Nach Sperrung der Online-Plattform X: Ex-Präsident Bolsonaro führt Massendemonstration gegen Richter in Brasilien anEin brasilianischer Bundesrichter lässt die Nachfolge-Plattform von Twitter sperren. Der rechte ehemalige Staatschef nennt ihn einen „Diktator“ – dabei regierte er selbst im autoritären Stil.
Weiterlesen »
Kritische SAML-Anmelde-Lücke mit Höchstwertung gefährdet Gitlab-ServerUnter bestimmten Voraussetzungen können sich Angreifer Zugriff auf die DevSecOps-Plattform Gitlab verschaffen.
Weiterlesen »
Becker geht als Finanzchefin zur Online-Plattform OttoAndrea Becker verlässt Zalando und wechselt als CFO zur Online-Plattform Otto. Die Vorgängerin steigt zur CFO der Otto Group auf.
Weiterlesen »
DLT-Plattform 21x holt Assetmanagement-Riesen auf PlattformDer Frankfurter Betreiber von DLT-Finanzmarktinfrastruktur 21X hat mit der Apex Group einen Großkunden für ihren Handelsplatz gewonnen.
Weiterlesen »