导读：AST Visitor API 迁移看起来像一类适合 AI 批量生成的工程任务：节点多、模式重复、样板代码占比高。但真正的风险不在“代码能不能写出来”，而在“写完之后如何证明没有漏掉节点、重复访问字段或改变遍历顺序”。本文以一次 Visitor API 迁移为线索，介绍一套从源码扫描、运行时 trace、独立比较、失败定位，到真实 S...

导读：数据入仓看似只是“把文件导进表里”，真正上线后却会遇到调度、重试、去重、凭证管理和失败恢复等一连串工程问题。本文用一个最小可跑通的示例，演示如何用 Airflow 编排本地 CSV / NDJSON 文件，经 S3 暂存后导入 Databend Cloud，并进一步说明这条链路如何扩展成一套可重跑、低运维、面向云原生数仓的数据入仓实...

导读：本文介绍 Databend 针对 Bitmap 聚合场景的一次性能优化：通过引入 HybridBitmap，在小集合阶段使用轻量的 SmallBitmap，只在集合真正膨胀后切换到 RoaringTreemap，避免大量小 bitmap 被过早反序列化和构造成完整大集合结构。Benchmark 显示，在大量小 bitmap 聚合场景下，bitmap_intersect、bitmap_union 等函数...

导读：本文介绍 Databend / OpenRaft 中一个轻量级 histogram 实现：仅用约 2KB 内存，即可支持 O(1) 延迟记录，并在 P50 / P95 / P99 等 percentile 估算中，将典型 latency 场景误差控制在 0.2% 以内。文章亮点是从数据库内核的真实约束出发，讲清楚如何在低内存、低开销和高精度之间取得平衡，适合数据库内核工程师、...

作者： 吴炳锡，Databend Labs 联合创始人，腾讯 TVP 成员。长期关注数据库、湖仓和云原生数据基础设施，当前主要参与开源云原生湖仓 Databend 的产品与方案落地。

👨‍💻 作者：某 AI 基础设施公司高级工程师平时主要和数据平台、AI 工作负载以及云原生架构打交道，也在参与团队 Agent 数据基础设施建设。业余喜欢折腾开源项目，GitHub 活跃度比朋友圈高。

本文根据张雁飞在 Databend 社区活动的演讲实录整理而成，围绕 “Trace 即 Evals” 展开，系统梳理了 AI Agent 从 Prompt Engineering、Context Engineering 到 Harness Engineering 的演进，以及为什么 Agent 的稳定性、成本归因和效果评估，必须建立在完整执行轨迹之上。文章用 Claude Code、Evot、Pi 等 Agent 对比案例...

文章根据沉浸式翻译技专家陈琦在 Databend Meeup 上海站分享总结和思考构建。 通过本次活动也让我初步去理解 AI 长记忆体的实现及用途。 陈琦分享属于一个比较硬核的技术分享，所以在回顾这个 PPT 时，我在陈琦分享的思路的基础上长了一些案例，来帮助读者更容易理解这个实践。

11 月，我们发布了 17 个 nightly 版本，致力于打造更丰富的数据体验。本月上线了 TimestampTz 支持、HTTP Arrow payloads、支持 RBAC 的脱敏策略，并进行了三轮 Runtime Filter 调优，同时针对多模态负载改进了全文索引和 VECTOR 支持。现在的查询接口支持从 JSON、Arrow IPC 到几何数据等多种输出格式，助力分析团队更...

Data + AI 已经成为数据从业人员必须关注的技能。在基于 Databend Cloud 平台上可以大大简化数据人员在数据基础工作方面的投入，让数据人员可以花更多的精力去研究 Data + AI 的实践。在此背景下，11月29日，Databend Meetup·上海站线下活动"如何打造 AI 时代的数据基石"，汇集了国内数据库领域多位一线专家：Databend ...

数据洪流奔涌，AI 浪潮澎湃。当 Data 与 AI 深度交织，如何构建面向未来的技术栈？如何基于亚马逊云科技构数据分析业务？11月29日「如何打造AI时代的数据基石 | Databend Meetup 上海站」 应势而来！我们力邀多位来自明星开源项目与一线大厂的资深专家，为您全景解析数据平台架构、AI 创新实践与职业发展路径，开启一场...

数据洪流奔涌，AI 浪潮澎湃。当 Data 与 AI 深度交织，如何构建面向未来的技术栈？如何在这场变革中抢占先机？11月29日「DATA AI Databend Meetup」 应势而来！我们力邀多位来自明星开源项目与一线大厂的资深专家，为您全景解析数据平台架构、AI 创新实践与职业发展路径，开启一场思想与技术的碰撞。本次 Meetup，我们荣...

存储过程（Stored Procedure）是一组预编译的 SQL 语句集合，它们被保存在数据库中，可以像函数一样被重复调用。想象一下，如果你经常需要执行一系列复杂的数据处理操作，与其每次都手动输入这些 SQL 语句，不如将它们封装成一个存储过程，需要时直接调用即可。

nom 是 Rust 生态中非常受欢迎的解析框架：性能优秀、组合灵活，并且能很好地利用 Rust 的类型系统。Databend 在 SQL 表达式和语句解析上大量使用 nom，开发体验不错，可读性也高。

十月，我们专注于生产自动化的落地。存储过程正式可用并移除了实验性标记，SQL 脚本引擎支持 dynamic schema introspection，能够处理复杂的 ETL 流程。同时，我们发布了 JSON 全文检索的 inverted index、智能内存溢出控制，并全面升级了运维工具——本月共发布了十一个版本。

BendSQL 是 Databend 原生的命令行客户端，使用 Rust 实现。使用 BendSQL，我们可以灵活地和服务端进行交互，快速获取数据。在 BendSQL v0.30.3 版本我们引入了强大的 Web UI 功能，为用户提供了更直观、更便捷的 SQL 查询体验。本文将详细介绍如何启动和使用 BendSQL 的 Web 界面。

九月我们把重点放在了生产环境真正需要的功能上。这个月上线了行级访问控制、Check 约束、AUTOINCREMENT 自增列、基于事务的表名交换(SWAP)，还有智能的 SQL 错误提示。这些都是企业用户一直在等的功能。

在 Raft 实现中，处理 appendEntries 请求时需要持久化两类数据：term 和 log entries。Raft 论文要求"在响应 RPC 之前必须更新持久化状态"，但并未明确说明这两类数据的持久化顺序。这个看似无关紧要的细节，却可能导致已提交数据的丢失。

在企业数字化转型的浪潮中，MySQL 作为最受欢迎的开源数据库，承载着越来越多的业务数据。从最初的几百 GB，到现在动辄几个 TB 甚至数十 TB 的数据规模，MySQL 数据库的体量增长速度常常超出企业的预期。然而，一个不容忽视的现实是：这些庞大数据库中真正的热点数据往往只占 20-30%，剩下的大部分都是历史数据、日志记...

十年前，当 Graydon Hoare 在 Mozilla 的支持下发布 Rust 1.0 时，很少有人能预见到这门语言会在今天成为系统编程的新标杆。十年后的今天，当我们站在 2025 年的节点回望，Rust 不仅兑现了当初"安全、并发、实用"的承诺，更在商业化道路上走出了一条独特的轨迹。

本方案中基于 Databend 实现一个数据快速汇聚及实时去重，实现一份数据多种工作负载，把原来数据共享的推模式变成：增量订阅模式 + 抽取推送两种模式。从而让有后台开发经验或会 SQL 的人，也可以在 Databend 上实现海量数据平台的建设。

八月我们重磅推出：基于对象存储的向量检索功能。通过 HNSW 索引算法实现了相似性搜索 23 倍性能提升，AI 应用终于可以在对象存储上高效运行了。结合我们已有的结构化数据和 JSON 处理能力，Databend 现在是完全基于对象存储构建的多模态数据仓库。

我的好友 fuzhe 在阅读 LevelDB 源码时，发现了一个有趣的细节：系统在存储 CRC 校验码时，并不直接使用计算出的值，而是要先做一个看似"多余"的 mask 操作。这个操作包括右旋转 15 位和加上一个神秘的常数 0xa282ead8ul。

随着数据需求的不断增加，大数据架构的演变成为了现代数据工程师的重要课题。本文将对比传统大数据架构与新一代云原生湖仓 Databend，通过对比它们在实时与离线架构中的区别，感受 Databend 的优势。传统大数据业务架构传统的大数据平台通常由一套复杂的 Hadoop 方案组成，涉及多个组件，每个组件都有明确的任务分工。下...

在数字政府建设的浪潮中，政务大数据平台正面临着前所未有的挑战与机遇。作为承载着全省 2000 多亿条公共数据资源的福建大数据一体化公共数据平台，其技术架构的每一次演进都牵动着整个数字福建建设的神经。福建大数据一级开发有限公司作为省级公共数据资源一体开发主体，在多年的实践中深刻体会到传统湖仓分离架构在政...

随着企业数字化转型的深入推进，实时数据仓库与湖仓一体化架构已成为现代数据平台建设的核心议题。在业务节奏日益加快的今天，企业不仅需要处理海量的历史数据，更需要实时洞察数据变化，快速响应市场需求。如何在保证数据一致性和可靠性的前提下，实现数据湖的灵活性与数据仓库的高性能完美融合，成为每一位数据架构师...

在数字化转型加速推进的今天，实时数据仓库与湖仓一体化架构已成为企业数据平台建设的核心议题。面对海量数据的爆发式增长和日益复杂的业务需求，如何构建既能满足实时性要求，又能兼顾成本效益的现代化数据平台，成为每一位数据架构师面临的重大挑战。8月21-23日，以"智能创新 数赢未来"为主题的第十六届中国数据库技术...

Databend 是一个面向分析型工作负载优化的 OLAP 数据库，采用列式存储架构。在处理 CDC（Change Data Capture，变更数据捕获）场景时，如果直接执行单条的 UPDATE 和 DELETE 操作，会严重影响性能，无法充分发挥 Databend 在批处理方面的优势。

上周六，Databend Meetup·北京站圆满举办。本次线下活动聚焦“迈向 AI 驱动的数据平台”，汇聚了国内数据库领域多位一线专家，以及来自各行各业的技术负责人、DBA、开发与运维工程师，围绕“AI Ready 数据平台”的主题，共同探讨了大模型时代数据库和数据平台的创新演进与实战应用。

今年的 AI 热潮给数据基础设施带来了巨大变革。大模型及生成式 AI 的落地，让金融、零售、制造、医疗等行业都在加速推进数据平台的智能化升级。与之对应，数据体量和复杂性不断提升，企业对数据库系统的性能、扩展性、多模融合与 AI 支持能力提出了更高要求。