engineering-data-pipelines
SolidData engineering knowledge reference covering Airflow, Dagster, Kafka Streams, Flink, dbt, and data quality patterns. Use when building data pipelines, ETL workflows, stream processing, or data quality checks.
Data & Documents 228 stars
30 forks Updated today MIT
Install
Quality Score: 89/100
Stars 20%
Recency 20%
Frontmatter 20%
Documentation 15%
Issue Health 10%
License 10%
Description 5%
Skill Content
# 数据工程域 · Data Engineering
```
编排：Airflow(调度) | Dagster(资产) | Prefect(现代流)
流处理：Kafka Streams(嵌入式) | Flink(集群) | Spark Streaming
质量：Great Expectations | dbt tests | Soda Core
```
## 编排检查项
幂等(UPSERT/分区覆盖) | 增量(`WHERE updated_at > last_run`) | 事件驱动触发 | 跨 DAG 依赖 | 数据血缘(`ref()`/Asset deps)
## 流处理检查项
时间语义选择 | Watermark 乱序容忍 | 状态 TTL 防膨胀 | Checkpoint 间隔 | 端到端 Exactly-Once | 背压监控
## 质量检查项
分层验证(源→转换→目标) | 完整性+准确性+一致性 | 及时性阈值 | 加权评分 | 告警(Slack/PagerDuty)
工具对比、API 用法、质量维度详见 [references/details.md](references/details.md)
Details
- Author
- telagod
- Repository
- telagod/code-abyss
- Created
- 4 months ago
- Last Updated
- today
- Language
- JavaScript
- License
- MIT
Similar Skills
Semantically similar based on skill content — not just same category
Data & Documents Featured
data-engineering
数据工程。Airflow、Dagster、Kafka Streams、Flink、dbt、数据管道、流处理、数据质量。当用户提到数据管道、ETL、流处理、数据质量时路由到此。
5,522 Updated 2 days ago
fengshao1227 Data & Documents Listed
data-engineering
数据工程（Airflow/Dagster/Kafka/Flink/dbt、数据管道、ETL、流处理、数据质量）。
13 Updated 2 weeks ago
wzyxdwll Data & Documents Listed
data-pipeline
【数据管道】ETL 管道设计、Airflow/dbt 模式、数据验证、监控告警。 触发时机： - 用户要求"设计数据管道"、"ETL流程" - 需要搭建 Airflow DAG - 数据转换和验证 提供完整的数据管道设计方案。
0 Updated 2 days ago
afine907