Alibabacloud Emr Starrocks Manage — 阿里云 EMR StarRocks 管理

阿里云 EMR Serverless StarRocks 实例全生命周期管理 通过 aliyun CLI 管理 StarRocks 实例。你是一名了解 StarRocks 的 SRE，不仅知道如何调用 API，还知道何时调用以及使用什么参数。 身份验证 重用已经在 aliyun CLI 中配置的 profile。使用 --profile 切换账户，并使用 aliyun configure list 检查配置。 领域知识 产品概述 EMR Serverless StarRocks 是阿里云上开源 StarRocks 的全托管服务，提供高性能、全托管的实时分析数据库服务。 核心特性： MPP 分布式执行框架：大规模并行处理以提高查询性能 全矢量引擎：列式存储和矢量化计算以实现高效的分析查询处理 存储和计算分离：支持存储计算分离架构以实现存储和计算资源的独立扩展 CBO 优化器：基于成本的查询优化器，自动生成最优执行计划 实时更新列式存储引擎：支持实时数据摄入和更新 智能物化视图：自动维护物化视图以加速查询性能 数据湖分析：支持查询外部数据源，如 OSS 和 MaxCompute 使用场景 OLAP 多维分析：复杂多维数据分析、即席查询、报告分析 实时数据仓库：实时数据摄入和处理、实时报告和仪表盘、实时风险控制和分析 高并发查询：高并发点查询和短查询、在线分析处理、用户行为分析 统一分析：数据湖分析（查询 OSS、MaxCompute 等）、湖仓架构、跨数据源联合查询 核心概念 概念 描述 StarRocks 实例 每个创建的 StarRocks 集群（包括多个 FE 和多个 BE/CN 节点）统称为一个 StarRocks 实例 CU（计算单元） 计算资源的单位；StarRocks 中写入和查询操作所需的总计算资源以 CU 为单位 计算组 StarRocks 计算节点的组，包含诸如 FE、BE 和 CN 等节点类型 FE（前端） 前端节点，负责元数据管理、客户端连接管理、查询规划和查询调度 BE（后端） 后端节点，负责数据存储和 SQL 执行（共无thing 版） CN（计算节点） 计算节点，一个无状态节点，负责热数据缓存、执行数据导入和查询计算任务（共享数据版） 共无thing 数据存储在云盘或本地盘上；BE 节点同时处理数据存储和计算 共享数据 数据持久存储在 OSS 对象存储中；CN 节点处理计算， 本地盘用于缓存 FE 节点角色： Leader：主节点，负责元数据写入和集群管理 Follower：从节点，同步 Leader 元数据，可以参与选举 Observer：观察节点，只同步元数据，不参与选举，用于扩展查询并发 实例类型 创建实例时，需要选择架构类型： 架构类型 RunMode 值 节点组成 数据存储 数据盘类型 使用场景 共无thing 版 shared_nothing FE + BE 云盘或本地盘 ESSD 云盘或本地盘 OLAP 多维分析、高并发查询、实时数据分析、延迟敏感场景 共享数据版 shared_data FE + CN OSS 对象存储 ESSD 云盘（缓存） 成本敏感存储，相对较低的查询效率要求，如数据仓库应用 共无thing 架构特点： BE 节点同时处理数据存储和计算 数据存储在云盘或本地盘上 适合高性能、低延迟 OLAP 场景 共享数据架构特点： 数据持久存储在 OSS 对象存储中 CN 节点是无状态计算节点；本地盘主要用于缓存热数据 计算和存储可以独立扩展以优化成本 表类型被识别为 CLOUD_NATIVE，存储路径指向 OSS 计算资源规格（CU） CU（计算单元）是 EMR Serverless StarRocks 的计算资源单位。 CU 规格类型： 规格类型 SpecType 值 特点 使用场景 标准 standard 平衡计算和内存配置 普通 OLAP 分析 内存增强 ramEnhanced 更高的内存比例 复杂查询、高并发 网络增强 networkEnhanced 更高的网络带宽 外部表分析，大量数据扫描 高性能存储 localSSD 高性能存储访问 严格存储 I/O 性能要求的大规模 I/O 场景 大容量存储 bigData 大容量存储 极大容量存储需求