databend

6
获赞数
0
关注数
11
粉丝数
IP 属地福建
2021-11-10 加入
浏览 14.9k

Databend 旨在成为一个 开源、弹性、可靠 的无服务器数仓,查询快如闪电,与 弹性、简单、低成本 的云服务有机结合。数据云的构建,从未如此简单!

20 声望|新手
rust
13
云原生
3
data
3
大数据
3
数据库
3
黄金勋章
暂未获得该勋章
如何获得
白银勋章
暂未获得该勋章
如何获得
个人动态
  • 发布了文章今天 10:25
    AST Visitor API 迁移,怎么证明 AI 没改坏 SQL 语义?
    导读:AST Visitor API 迁移看起来像一类适合 AI 批量生成的工程任务:节点多、模式重复、样板代码占比高。但真正的风险不在“代码能不能写出来”,而在“写完之后如何证明没有漏掉节点、重复访问字段或改变遍历顺序”。本文以一次 Visitor API 迁移为线索,介绍一套从源...
  • 发布了文章7 月 10 日
    从 S3 到 Databend Cloud:Airflow 数据入仓编排实践
    导读:数据入仓看似只是“把文件导进表里”,真正上线后却会遇到调度、重试、去重、凭证管理和失败恢复等一连串工程问题。本文用一个最小可跑通的示例,演示如何用 Airflow 编排本地 CSV / NDJSON 文件,经 S3 暂存后导入 Databend Cloud,并进一步说明这条链路如何扩...
  • 发布了文章7 月 9 日
    小 Bitmap,大优化:Databend 如何加速大规模集合聚合
    导读:本文介绍 Databend 针对 Bitmap 聚合场景的一次性能优化:通过引入 HybridBitmap,在小集合阶段使用轻量的 SmallBitmap,只在集合真正膨胀后切换到 RoaringTreemap,避免大量小 bitmap 被过早反序列化和构造成完整大集合结构。Benchmark 显示,在大量小 bitmap...
  • 发布了文章7 月 3 日
    2KB histogram 背后:Databend 如何低成本追踪长尾延迟
    导读:本文介绍 Databend / OpenRaft 中一个轻量级 histogram 实现:仅用约 2KB 内存,即可支持 O(1) 延迟记录,并在 P50 / P95 / P99 等 percentile 估算中,将典型 latency 场景误差控制在 0.2% 以内。文章亮点是从数据库内核的真实约束出发,讲清楚如何在低内存、...
  • 发布了文章7 月 3 日
    从湖仓升级为 Agent 时代的数据控制面,Snowflake 和 Databricks 有哪些布局
    作者: 吴炳锡,Databend Labs 联合创始人,腾讯 TVP 成员。长期关注数据库、湖仓和云原生数据基础设施,当前主要参与开源云原生湖仓 Databend 的产品与方案落地。
  • 发布了文章7 月 2 日
    在 AWS 中国峰会逛了一天,我在 Databend 展台看到了 Agent 数据基础设施的新思路
    👨‍💻 作者:某 AI 基础设施公司高级工程师平时主要和数据平台、AI 工作负载以及云原生架构打交道,也在参与团队 Agent 数据基础设施建设。业余喜欢折腾开源项目,GitHub 活跃度比朋友圈高。
  • 发布了文章7 月 2 日
    Agent 轨迹分析与归因的数据工程实践
    本文根据张雁飞在 Databend 社区活动的演讲实录整理而成,围绕 “Trace 即 Evals” 展开,系统梳理了 AI Agent 从 Prompt Engineering、Context Engineering 到 Harness Engineering 的演进,以及为什么 Agent 的稳定性、成本归因和效果评估,必须建立在完整执行轨迹之...
  • 发布了文章2025-12-10
    构建海量记忆:基于 Databend 的 2C Agent 平台
    文章根据沉浸式翻译技专家陈琦在 Databend Meeup 上海站分享总结和思考构建。 通过本次活动也让我初步去理解 AI 长记忆体的实现及用途。 陈琦分享属于一个比较硬核的技术分享,所以在回顾这个 PPT 时,我在陈琦分享的思路的基础上长了一些案例,来帮助读者更容易理解...
  • 发布了文章2025-12-04
    Databend 11 月月报:多模态查询智能
    11 月,我们发布了 17 个 nightly 版本,致力于打造更丰富的数据体验。本月上线了 TimestampTz 支持、HTTP Arrow payloads、支持 RBAC 的脱敏策略,并进行了三轮 Runtime Filter 调优,同时针对多模态负载改进了全文索引和 VECTOR 支持。现在的查询接口支持从 JSON、...
  • 发布了文章2025-12-03
    如何打造AI时代的数据基石 | Databend Meetup 上海站回顾
    Data + AI 已经成为数据从业人员必须关注的技能。在基于 Databend Cloud 平台上可以大大简化数据人员在数据基础工作方面的投入,让数据人员可以花更多的精力去研究 Data + AI 的实践。在此背景下,11月29日,Databend Meetup·上海站线下活动"如何打造 AI 时代的数据...
  • 发布了文章2025-11-27
    如何打造 AI 时代的数据基石 | Databend Meetup 上海站
    数据洪流奔涌,AI 浪潮澎湃。当 Data 与 AI 深度交织,如何构建面向未来的技术栈?如何基于亚马逊云科技构数据分析业务?11月29日「如何打造AI时代的数据基石 | Databend Meetup 上海站」 应势而来!我们力邀多位来自明星开源项目与一线大厂的资深专家,为您全景解析...
  • 发布了文章2025-11-21
    DATA AI Databend Meetup 2025上海站邀您共话未来
    数据洪流奔涌,AI 浪潮澎湃。当 Data 与 AI 深度交织,如何构建面向未来的技术栈?如何在这场变革中抢占先机?11月29日「DATA AI Databend Meetup」 应势而来!我们力邀多位来自明星开源项目与一线大厂的资深专家,为您全景解析数据平台架构、AI 创新实践与职业发展...
  • 发布了文章2025-11-14
    Databend SQL 存储过程使用指南
    存储过程(Stored Procedure)是一组预编译的 SQL 语句集合,它们被保存在数据库中,可以像函数一样被重复调用。想象一下,如果你经常需要执行一系列复杂的数据处理操作,与其每次都手动输入这些 SQL 语句,不如将它们封装成一个存储过程,需要时直接调用即可。
  • 发布了文章2025-11-14
    Databend SQL nom Parser 性能优化
    nom 是 Rust 生态中非常受欢迎的解析框架:性能优秀、组合灵活,并且能很好地利用 Rust 的类型系统。Databend 在 SQL 表达式和语句解析上大量使用 nom,开发体验不错,可读性也高。
  • 发布了文章2025-11-07
    Databend 十月月报:存储过程正式可用,数据流程全面自动化
    十月,我们专注于生产自动化的落地。存储过程正式可用并移除了实验性标记,SQL 脚本引擎支持 dynamic schema introspection,能够处理复杂的 ETL 流程。同时,我们发布了 JSON 全文检索的 inverted index、智能内存溢出控制,并全面升级了运维工具——本月共发布了十一...
  • 发布了文章2025-11-05
    BendSQL v0.30.3 Web UI 功能介绍
    BendSQL 是 Databend 原生的命令行客户端,使用 Rust 实现。使用 BendSQL,我们可以灵活地和服务端进行交互,快速获取数据。在 BendSQL v0.30.3 版本我们引入了强大的 Web UI 功能,为用户提供了更直观、更便捷的 SQL 查询体验。本文将详细介绍如何启动和使用 BendSQ...
  • 发布了文章2025-10-11
    Databend 九月月报:自增列 AUTOINCREMENT 与行级安全
    九月我们把重点放在了生产环境真正需要的功能上。这个月上线了行级访问控制、Check 约束、AUTOINCREMENT 自增列、基于事务的表名交换(SWAP),还有智能的 SQL 错误提示。这些都是企业用户一直在等的功能。
  • 发布了文章2025-10-11
    Raft 中的 IO 执行顺序:内存状态与持久化状态的陷阱
    在 Raft 实现中,处理 appendEntries 请求时需要持久化两类数据:term 和 log entries。Raft 论文要求"在响应 RPC 之前必须更新持久化状态",但并未明确说明这两类数据的持久化顺序。这个看似无关紧要的细节,却可能导致已提交数据的丢失。
  • 发布了文章2025-09-19
    MySQL 数据归档的技术困境与 Databend 解决之道
    在企业数字化转型的浪潮中,MySQL 作为最受欢迎的开源数据库,承载着越来越多的业务数据。从最初的几百 GB,到现在动辄几个 TB 甚至数十 TB 的数据规模,MySQL 数据库的体量增长速度常常超出企业的预期。然而,一个不容忽视的现实是:这些庞大数据库中真正的热点数据...
  • 发布了文章2025-09-18
    Databend 亮相 RustChinaConf 2025,分享基于 Rust 构建商业化数仓平台的探索
    十年前,当 Graydon Hoare 在 Mozilla 的支持下发布 Rust 1.0 时,很少有人能预见到这门语言会在今天成为系统编程的新标杆。十年后的今天,当我们站在 2025 年的节点回望,Rust 不仅兑现了当初"安全、并发、实用"的承诺,更在商业化道路上走出了一条独特的轨迹。