ToB企服应用市场:ToB评测及商务社交产业平台

标题: ByConity 社区回顾｜ByConity 和开发者们一起展望未来，携手共进！ [打印本页]

作者: 刘俊凯 时间: 2024-4-5 09:17
标题: ByConity 社区回顾｜ByConity 和开发者们一起展望未来，携手共进！

更多技术交流、求职机会，欢迎关注字节跳动数据平台微信公众号，回复【1】进入官方交流群

新年伊始，我们想在这里感谢一群 ByConity 社区的小伙伴们。
正是因为有社区的开发者的支持，截止到 2023 年底，ByConity GitHub 获得 1409 Star，595 pull request，累计 61 位 Contributor 共建者参与代码贡献，社区主办活动超过 10 场，来自知乎、MetaApp、天翼云、Shein、烽火软件、携程等多家企业用户正在基于 ByConity 做技术实践和探索。

版本发布

2023 年 1 月 10 日， ByConity 发布 Beta（v0.1.0-beta）版本，并在社区小范围征集用户试用，2023 年 5 月，ByConity 正式宣布开源。在这一年里，ByConity 先后经历了 3 个版本的迭代。
2023 年 12 月 18 日， ByConity 0.3.0 版本正式发布。这个版本提供了倒排索引，基于共享存储的选主方式等多项新特性，对冷读性能进行了进一步的优化，对 ELT 能力也进行了进一步的迭代，同时修复了若干已知问题，进一步提升了系统的性能和稳定性。

倒排索引： 在 ByConity 使用过程中，很多业务对文本检索相关能力（如 StringLike）提出了非常高的需求，希望社区能够优化相关查询性能，同时兼容 ClickHouse 在今年支持的倒排索引的能力。为满足业务诉求，保持生态兼容，同时提升 ByConity 的文本检索能力，ByConity 在 0.3.0 版本加入了对文本检索的支持，为日志数据分析等场景提供高性能查询。
基于共享存储的选主方案： 在 ByConity 架构中存在多种控制节点，它们需要各自通过多副本 + 选主来提供高可用的服务能力，例如 Resource Manager，TSO 等。实际中的多个计算 server，也需要选出一个单节点来执行特定的读写任务。之前 ByConity 使用了 clickhouse-keeper 组件来进行选主，该组件基于 Raft 实现，提供兼容 zookeeper 的选主接口。但是在实际的使用中遇到了很多运维问题，例如需要部署 3 个以上节点才能提供容灾，增加运维负担；节点增删和服务发现流程复杂；容器重启后如果服务变换 ip 和服务端口，keeper 组件难以快速恢复，等等。考虑 ByConity 作为一个新的云原生服务，并不需要兼容 ClickHouse 对 zookeeper 的访问，我们选择了基于存算分离的云原生架构实现一种新的选主方式来优化以上问题。
冷读性能的进一步提升： 在 ByConity 0.2.0 中，我们通过引入 IOScheduler 等方式提高了冷读查询的性能，尤其是在 S3 上的冷读性能。0.3.0 版本通过引入 ReadBuffer 的 Preload 等优化，进一步提高了冷读性能。
ELT 能力增强： 在 0.3.0 中，我们引入新的 BSP 模式，通过 stage by stage 的执行以及增强 disk based shuffle，满足有限条件下的计算，提高吞吐。在 ByConity 中复杂查询对 query plan 的 stage 进行了切分并进行了 stage by stage 的调度，但在语义上仍然是 all at once 的调度。ELT 在执行时需要对查询进行分阶段运行，需要进一步达到 stage by stage 执行的效果。

更多 0.3.0 相关特性及优化的内容大家可以复制链接查看：https://github.com/ByConity/ByConity/releases/tag/0.3.0
RoadMap

2024 年 ByConity 计划每个季度一个版本 Release，发布节奏如下：

在 2024 年，我们仍将持续在 GitHub 上同步社区的 RoadMap：https://github.com/ByConity
社区活动

2023 年 ByConity 主办了 2 场线下活动，连接北京和上海的开发者们。
2024 年我们会在更多的城市举办 Meetup，欢迎大家与我们交流希望我们举办 Meetup 的城市，我们会在 2024 年在线下汇聚更多大数据领域的开发者们，共同探讨大数据、数据库前沿技术及其应用，同时也为当地的开发者们提供一个友好交流的技术平台。
同时，我们也参与了 GOTC、QCon、DTCC、CosCon'23、国际开源节云原生技术沙龙、Fintech Festival 等多场外部大会的演讲。我们在这些活动中分享了关于 ByConity 的最新技术、应用和发展，与来自不同领域的专家、学者和开发者进行了深入的交流和探讨。

2023 年 ByConity 主办每月一次的线上 webinar，为社区的开发者们介绍 ByConity 的最新技术特性。为了让大家了解 ByConity 的查询性能，我们发布了第一期 TPC-DS 测试活动。 6 月初我们分享了 ByConity 在云上部署的方法：《ByConity 如何在 Kubernetes 上无感扩缩容》之后收到很多用户反馈和建议，例如部署过程中需要安装的组件过多、本地软硬件环境引起部署失败等问题。因此我们做了一些优化，提供了更加容易上手的一键部署方式，主办了 ByConity 快速部署有奖征集活动。
社区荣誉

在众多开发者及合作伙伴的鼎力支持下，ByConity 社区在过去一年取得了开源圈内的荣誉。我们荣获了思否「2023 中国技术先锋年度榜单—中国技术品牌影响力企业」、IT168「2023 年度技术卓越奖」等开源奖项，得到了在大数据领域的影响力和专业度。

这些荣誉的背后，离不开每一位社区成员的付出与努力。在此，我们衷心感谢大家的支持与信任。

为了持续优化我们的产品和服务，ByConity 社区始终保持开放、包容的态度，欢迎各位有志之士共同参与社区建设。无论您是对我们的产品有任何疑问，还是对社区发展有任何建议，都可以在 GitHub 上提交 PR 或 Issues。同时，我们也诚邀各位成为 ByConity 社区的 Contributor，与我们携手共建一个更加开放、活跃、有价值的社区。让我们共同见证 ByConity 社区的成长与繁荣！
加入社区

在过去的一年里，社区共建者们的贡献如星辰大海般璀璨。展望未来，我们期待与更多的志同道合者共同成长，一起迈向更高的目标。让我们携手并进，共同开启新的征程！欢迎大家扫码加入 ByConity 微信交流群（备注姓名+公司+职位）。

新年礼包

最后，我们为大家准备了一批龙年礼包
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)