adesso BLOG

Schlagwörter:

  • Datenmanagement

Alle Blogeinträge anzeigen
Methodik

In der modernen Datenverarbeitung stehen Unternehmen vor der Herausforderung, die richtige Datenbanktechnologie für ihre spezifischen Anforderungen zu wählen. PostgreSQL und Databricks sind zwei weit verbreitete Lösungen, die jeweils ihre eigenen Stärken haben. In diesem Blog-Beitrag werde ich die Unterschiede zwischen PostgreSQL und Databricks herausarbeiten, ihre jeweiligen Vor- und Nachteile untersuchen und konkrete Anwendungsfälle nennen, die einen Wechsel zu Databricks rechtfertigen.

weiterlesen
Methodik

06.06.2024 von Christian Del Monte

Change Data Capture für Data Lakehouse

Bild Christian Del Monte

Change Data Capture (CDC) ist eine Technik, die alle Datenänderungen in einem Datenarchiv erfasst, sammelt und für die Übertragung und Replikation in andere Systeme aufbereitet, entweder als Batch-Prozess oder als Stream. Dieser Blog-Beitrag konzentriert sich auf die Anwendung von CDC in Data Lakehouses am Beispiel von Change Data Feed, einer Variante von CDC, die von Databricks im Rahmen von Delta-Lake-basierten Data Lakehouses entwickelt wurde.

weiterlesen
Methodik

14.05.2024 von Christian Del Monte

Datenänderungen im Griff haben mit Change Data Capture

Bild Christian Del Monte

In einem verteilten Softwaresystem stellen Datenänderungen immer eine Herausforderung dar. Wie ist es möglich, die Änderungshistorie von Daten, die sich in einem Teil des Systems befinden, zu verfolgen, um angeschlossene Datenspeicher in anderen Teilsystemen zu synchronisieren? Eine Antwort auf diese Frage bietet Change Data Capture (CDC). Was es damit auf sich hat, erkläre ich in diesem Blog-Beitrag.

weiterlesen
Branchen

Täglich kämpfen Mitarbeitende mit manuellen Berichtsprozessen, die hohe Personalkosten, eingeschränkte Prozessoptimierungsmöglichkeiten und Qualitätsmängel verursachen. Trotz der entscheidenden Bedeutung von Kennzahlen für das Management sind manuelle Berichtsprozesse in der Produktion weit verbreitet. In diesem Blog-Beitrag erkläre ich, warum Unternehmen im IIoT-Bereich mit dem Produktionsreporting beginnen.

weiterlesen
Methodik

Metadatengesteuerte Datenpipelines sind ein Gamechanger für die Datenverarbeitung in Unternehmen. Diese Pipelines nutzen Metadaten, um Prozesse dynamisch zu aktualisieren, anstatt bei jeder Änderung einer Datenquelle jeden Schritt manuell zu überarbeiten. Wie auch bei den Datenpipelines kann die Pflege der Metadaten einen Engpass bei der Wartung und Weiterentwicklung eines Pipeline-Frameworks darstellen. In diesem Blog-Beitrag zeige ich anhand praktischer Beispiele, wie die Template-Sprache Jsonnet die Pflege von Metadaten erleichtert.

weiterlesen
KI

Workflow-Orchestrierung und Workflow-Engines sind entscheidende Komponenten in der modernen Datenverarbeitung und Softwareentwicklung, insbesondere im Bereich der Künstlichen Intelligenz (KI). Diese Technologien ermöglichen es, verschiedene Aufgaben und Prozesse innerhalb komplexer Datenpipelines effizient zu verwalten und zu koordinieren. In diesem Blog-Beitrag stellen wir Prefect vor, ein intuitives Tool zur Orchestrierung von Workflows in der KI-Entwicklung.

weiterlesen
Methodik

In der sich ständig weiterentwickelnden Welt der Datenanalyse und des Datenmanagements spielt Snowflake eine herausragende Rolle, die das Gesicht der Branche nachhaltig beeinflusst. Dieser Blog-Beitrag befasst sich mit der Entwicklung von Snowflake und warum es als bahnbrechende Lösung für Unternehmen gilt.

weiterlesen
Architektur

Vor der Einführung von Computern verwendeten Unternehmen Geschäftsbücher, Inventarlisten und Intuition, um Kennzahlen zu erfassen. Ende der 1980er Jahre entstand das Data Warehouse für statische Berichte. Die Digitalisierung brachte neue Herausforderungen mit sich. Big Data überforderte traditionelle Data Warehouses, weshalb Unternehmen Data Lakes einführten, die sich aber auch auf die Architektur und die Konzepte von Analysesystemen auswirkten. Im ersten Teil dieses Blog-Beitrags geht es um deren Entwicklung, die Gründe für ihre Entstehung und die gelösten Probleme.

weiterlesen
Architektur

Im ersten Teil dieses Blog-Beitrags haben wir uns mit den Grundlagen von Data Warehouses und Data Lakes beschäftigt, um ihre Vorteile und Grenzen zu verstehen. In diesem Teil geht es um die Entwicklung hin zu einer hybriden Lösung - dem Data Lakehouse. Wir betrachten die Entwicklung der Datenstrukturen von der zweischichtigen Architektur bis zur Entwicklung des Lakehouse-Konzepts. Ihr erfahrt, wie das Lakehouse die Stärken von Data Lakes und Data Warehouses kombiniert, um die datengetriebenen Herausforderungen von heute zu bewältigen.

weiterlesen

Diese Seite speichern. Diese Seite entfernen.