Starrocks 是一款基于 MPP 架构的高性能实时分析型数据库,专为 OLAP(联机分析处理)场景 设计,尤其擅长处理海量数据的实时分析、复杂查询和多维统计。

硬件
CPU:StarRocks依靠AVX2指令集充分发挥其矢量化能力。因此,在生产环境中,强烈建议您将StarRocks部署于x86架构CPU的服务器上。
在终端中运行以下命令来检查CPU是否支持AVX2指令集:cat /proc/cpuinfo | grep avx2

操作系统
StarRocks 支持在CentOS Linux 7.9 和 Ubuntu Linux 22.04上部署。(推荐在CentOs 7.9上部署)
网络

建议使用万兆网络连接(10 Gigabit Ethernet,简称10GE)确保StarRocks集群内数据能够跨节点高效传输。

一、数据盘挂载目录
#基于LVM方式挂载数据盘

 数据盘挂载目录  折叠源码
安装逻辑卷管理工具:yum install lvm2 -y列出系统中的块设备信息,包括磁盘、分区和挂载点等:lsblk
创建pv:pvcreate /dev/vdb
查看:pvs创建vg:vgcreate vgdata /dev/vdb
查看:vgs创建lv:lvcreate -l +100%free -n lvdata vgdata
查看:lvs格式化:mkfs.xfs /dev/mapper/vgdata-lvdata创建目录:mkdir /starrocks-data
查看:ls /查看块设备标识信息:blkid
/dev/mapper/vgdata-lvdata: UUID="0f105c51-1280-4511-ab4f-36c57bbcc53c" TYPE="xfs"vim /etc/fstab
在文件最后一行新增UUID信息:UUID=0f105c51-1280-4511-ab4f-36c57bbcc53c /starrocks-data         xfs     defaults        0 0执行自动挂载命令:mount -a查看文件系统磁盘空间:df -h

二、配置hostname
#修改主机名:分别在各节点上执行
hostnamectl set-hostname xxx-sr1
hostnamectl set-hostname xxx-sr2
hostnamectl set-hostname xxx-sr3
hostnamectl set-hostname xxx-sr4
hostnamectl set-hostname xxx-sr5
hostnamectl set-hostname xxx-sr6

#设置hosts
1xx.21.2x3.194 xxx-sr1
1xx.21.2x3.45 xxx-sr2
1xx.21.2x3.31 xxx-sr3
1xx.21.2x3.50 xxx-sr4
1xx.21.2x3.193 xxx-sr5
1xx.21.2x3.112 xxx-sr6

三、配置SSH免密
第一步:在各节点生成公钥和私钥
ssh-keygen -t rsa

第二步:将生成的公钥写入authorized_keys文件
copy其它节点的公钥到sr1节点
ssh-copy-id -i ~/.ssh/id_rsa.pub xxx-sr1

第三步:在sr1机器上执行,将文件分发到其它机器。
scp authorized_keys root@xxx-sr2:~/.ssh

第四步:验证ssh免密登录
ssh xxx-sr2
保证每台机器都能免密登陆所有机器
注: 我之前 发有一篇关于服务器之间用脚本实现全自动化免密登陆,请在我的历史文章叫搜索一下。

四、时间同步

安装chrony:yum install chrony

编辑文件:/etc/chrony.conf #注 这里我用的是我公司的时间服务器,大家可根据自身情况来设置。
cat > /etc/chrony.conf <<EOF
server 1x2.2x.2x8.4 iburst
server 1x2.2x.2x9.8 iburst
driftfile /var/lib/chrony/drift
makestep 1.0 3
rtcsync
logdir /var/log/chrony
EOF

#设置开机启动和重启
systemctl enable chronyd
systemctl restart chronyd

#检测时间同步
chronyc sourcestats

五、配置jdk
mkdir /usr/java -p
将jdk压缩包上传至服务器目录:/usr/java
解压:tar -xf jdk-8u321-linux-x64.tar.gz
配置java环境变量,编辑文件:vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_321
export PATH=JAVAHOME/bin:JAVA_HOME/bin:JAVAHOME/bin:PATH

使配置生效:source /etc/profile
检查是否安装成功:java -version

六、部署工具StarGo

#创建目录
mkdir -p /usr/local/apps
mkdir -p /opt/starrocks
mkdir -p /starrocks-data/starrocks

上传文件:#大家可以去官网下载后上传到服务器上
stargo-v2.3.tar.gz
StarRocks-3.1.8.tar.gz

#校验安装包完整性
md5sum StarRocks-3.1.8.tar.gz
8989a2483856f11eac288e66344a5649 StarRocks-3.1.8.tar.gz

#检测服务器环境
解压缩:tar -xf stargo-v2.3.tar.gz
cd /usr/local/apps/stargo-v2.3
执行检测命令:./env_check.sh
在这里插入图片描述
在这里插入图片描述

调整环境参数:
vim /etc/sysctl.conf
vm.swappiness=0
vm.overcommit_memory=1
vm.max_map_count=262144

sysctl -p

echo 1 | sudo tee /proc/sys/vm/overcommit_memory
echo 262144 | sudo tee /proc/sys/vm/max_map_count
echo 1 | sudo tee /proc/sys/net/ipv4/tcp_abort_on_overflow

echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo never > /sys/kernel/mm/transparent_hugepage/defrag

#修改配置文件

/usr/local/apps/stargo-v2.3

备份:cp deploy-template.yaml deploy-template.yaml.bak

修改文件名:mv deploy-template.yaml deploy-dev.yaml

编辑文件:vim deploy-dev.yaml

global:user: rootssh_port: 22fe_servers:- host: 1x2.2x.2x3.7ssh_port: 22java_heap_mem: 10240http_port: 8030rpc_port: 9020query_port: 9030edit_log_port: 9010deploy_dir: /opt/starrocks/femeta_dir: /starrocks-data/starrocks/fe/metalog_dir: /starrocks-data/starrocks/fe/logpriority_networks: 1x2.2x.2x3.7role: FOLLOWERconfig:sys_log_level: "INFO"- host: 1x2.2x.2x3.75ssh_port: 22java_heap_mem: 10240http_port: 8030rpc_port: 9020query_port: 9030edit_log_port: 9010deploy_dir: /opt/starrocks/femeta_dir: /starrocks-data/starrocks/fe/metalog_dir: /starrocks-data/starrocks/fe/logpriority_networks: 1x2.2x.2x3.75role: FOLLOWERconfig:sys_log_level: "INFO"- host: 1x2.2x.2x3.63ssh_port: 22java_heap_mem: 10240http_port: 8030rpc_port: 9020query_port: 9030edit_log_port: 9010deploy_dir: /opt/starrocks/femeta_dir: /starrocks-data/starrocks/fe/metalog_dir: /starrocks-data/starrocks/fe/logpriority_networks: 1x2.2x.2x3.63role: FOLLOWERconfig:sys_log_level: "INFO"be_servers:- host: 172.21.243.111ssh_port: 22be_port: 9060webserver_port: 8040heartbeat_service_port: 9050brpc_port: 8060deploy_dir : /opt/starrocks/bestorage_dir: /starrocks-data/starrocks/be/storagelog_dir: /starrocks-data/starrocks/be/logpriority_networks: 1x2.2x.2x3.111config:enable_new_load_on_memory_limit_exceeded: truemem_limit: 90%- host: 1x2.2x.2x3.135ssh_port: 22be_port: 9060webserver_port: 8040heartbeat_service_port: 9050brpc_port: 8060deploy_dir : /opt/starrocks/bestorage_dir: /starrocks-data/starrocks/be/storagelog_dir: /starrocks-data/starrocks/be/logpriority_networks: 1x2.2x.2x3.135config:enable_new_load_on_memory_limit_exceeded: truemem_limit: 90%- host: 172.21.243.234ssh_port: 22be_port: 9060webserver_port: 8040heartbeat_service_port: 9050brpc_port: 8060deploy_dir : /opt/starrocks/bestorage_dir: /starrocks-data/starrocks/be/storagelog_dir: /starrocks-data/starrocks/be/logpriority_networks: 1x2.2x.2x3.234config:enable_new_load_on_memory_limit_exceeded: truemem_limit: 90%##若不需要部署Broker,可删除下方配置。2.5版本后通常可不部署。
#broker_servers:
#  - host: 1x2.1x8.110.101
#    ssh_port: 22
#    broker_port: 8000
#    deploy_dir : /opt/starrocks/apache_hdfs_broker
#    log_dir: /data/starrocks/apache_hdfs_broker/log
#    config:
#      sys_log_level: "INFO"
#  - host: 1x2.1x8.110.102
#    ssh_port: 22
#    broker_port: 8000
#    deploy_dir : /opt/starrocks/apache_hdfs_broker
#    log_dir: /data/starrocks/apache_hdfs_broker/log
#    config:
#      sys_log_level: "INFO"
#  - host: 1x2.1x8.110.103
#    ssh_port: 22
#    broker_port: 8000
#    deploy_dir : /opt/starrocks/apache_hdfs_broker
#    log_dir: /data/starrocks/apache_hdfs_broker/log##若不需要部署CN,可删除下方配置。本地部署时通常可不部署。注意:CN不能与BE部署同一节点。
#cn_servers:
#  - host: 192.168.110.104
#    ssh_port: 22
#    thrift_port: 9060
#    webserver_port: 8040
#    heartbeat_service_port: 9050
#    brpc_port: 8060
#    deploy_dir : /opt/starrocks/cn
#    log_dir: /data/starrocks/cn/log
#    priority_networks: 1x2.1x8.110.104
#    config:
#      sys_log_level: INFO

辑文件:vim repo.yaml

sr_path: /usr/local/apps
sr_name: StarRocks-3.1.8.tar.gz

七、执行部署命令

cd /usr/local/apps/stargo-v2.3
./stargo cluster deploy sr-cluster v3.1.8 deploy-dev.yaml
在这里插入图片描述
在这里插入图片描述
八、验证集群

#查看集群信息和集群状态
./stargo cluster display sr-cluster
./stargo cluster status sr-cluster
在这里插入图片描述
九、监控部署

9.1 安装Prometheus

上传文件到目录:scp root@172.16.12.169:/usr/local/starrocks/new_starrocks/prometheus-2.45.2.linux-amd64.tar.gz /tmp

mv /tmp/prometheus-2.45.2.linux-amd64.tar.gz /usr/local/apps/

解压:tar -xf prometheus-2.45.2.linux-amd64.tar.gz
修改目录名:mv prometheus-2.45.2.linux-amd64 prometheus
创建目录:cd prometheus
mkdir data
备份文件:cp prometheus.yml prometheus.yml.bak
编辑文件:vim prometheus.yml

global:scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute.evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute.- job_name: "StarRocks_Cluster"metrics_path: '/metrics'# metrics_path defaults to '/metrics'# scheme defaults to 'http'.static_configs:- targets: ['1x2.2x.2x3.7:8030','1x2.2x.2x3.75:8030','1x2.2x.2x3.63:8030']labels:group: fe- targets: ['1x2.2x.2x3.111:8040','1x2.2x.2x3.135:8040','1x2.2x.2x3.234:8040']labels:group: be

在这里插入图片描述
#创建prometheus系统服务启动文件

cd /etc/systemd/system/
vim prometheus.service

[Unit]
Description=Prometheus service
After=network.target[Service]
User=root
Type=simple
ExecReload=/bin/sh -c "/bin/kill -1 `/usr/bin/pgrep prometheus`"
ExecStop=/bin/sh -c "/bin/kill -9 `/usr/bin/pgrep prometheus`"
ExecStart=/usr/local/apps/prometheus/prometheus --config.file=/usr/local/apps/prometheus/prometheus.yml --storage.tsdb.path=/usr/local/apps/prometheus/data[Install]
WantedBy=multi-user.target

重新加载某个服务的配置文件,是配置文件生效。

systemctl daemon-reload
在这里插入图片描述
#启动prometheus服务

#使用系统服务文件启动的方式(推荐)
开机启动:systemctl enable prometheus.service
启动服务:systemctl start prometheus.service
查看状态:systemctl status prometheus.service
在这里插入图片描述
9.2 安装Grafana

上传文件到目录:scp root@1x2.1x.1x.169:/usr/local/starrocks/new_starrocks/grafana-enterprise-10.2.1.linux-amd64.tar.gz /tmp

mv /tmp/grafana-enterprise-10.2.1.linux-amd64.tar.gz /usr/local/apps/
解压:tar -xf grafana-enterprise-10.2.1.linux-amd64.tar.gz
修改目录名:mv grafana-v10.2.1 grafana
#创建grafana系统服务启动文件

cd /usr/lib/systemd/system/
vim grafana.service

[Unit]
Description=Grafana
After=network.target[Service]
Type=simple
ExecStart=/usr/local/apps/grafana/bin/grafana server --homepath=/usr/local/apps/grafana[Install]
WantedBy=multi-user.target

#启动grafana服务
启动:systemctl start grafana
设置开机启动:systemctl enable grafana
查看状态:systemctl status grafana

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:http://www.pswp.cn/bicheng/93544.shtml
繁体地址,请注明出处:http://hk.pswp.cn/bicheng/93544.shtml
英文地址,请注明出处:http://en.pswp.cn/bicheng/93544.shtml

如若内容造成侵权/违法违规/事实不符,请联系英文站点网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【CPP】自己实现一个CPP小工具demo,可以扩展其他选项

自己写CPP脚本小工具1. 思路描述2. 代码实现2.1 代码文件CppTool.cpp2.2 CMakeLists.txt3. 工具示例3.1 帮助信息3.2 工具用法3.3 实际使用1. 思路描述 实现一个简单的命令行工具。内容包括&#xff1a; 命令帮助信息参数检查&#xff0c;参数解析等功能。执行其他命令。将指…

如何使用嵌入模型创建本地知识库Demo

为data目录下的txt文档用阿里百炼的文本嵌入模型创建一个本地知识库import os from llama_index.core import ,Settings, SimpleDirectoryReader, VectorStoreIndex from llama_index.core.node_parser import SentenceSplitter from llama_index.llms.dashscope import DashSc…

SpringBoot 整合 Langchain4j:系统提示词与用户提示词实战详解

> 掌握提示词工程的核心技巧,让你的AI应用效果提升300%! **真实痛点**:为什么同样的模型,别人的应用精准专业,而你的却答非所问?关键在于提示词工程!本文将揭秘如何通过系统提示词与用户提示词的巧妙配合,打造专业级AI应用。 --- ### 一、Langchain4j 核心概念…

Sklearn 机器学习 邮件文本分类 加载邮件数据

💖亲爱的技术爱好者们,热烈欢迎来到 Kant2048 的博客!我是 Thomas Kant,很开心能在CSDN上与你们相遇~💖 本博客的精华专栏: 【自动化测试】 【测试经验】 【人工智能】 【Python】 Sklearn 机器学习 邮件文本分类 - 加载邮件数据 在自然语言处理(NLP)中,邮件文本分…

腾讯云开发小程序工具箱使用心得

一、核心优势与使用体验 作为首批使用腾讯云开发&#xff08;CloudBase&#xff09;工具箱的开发者&#xff0c;我深刻感受到其通过CloudBase AI与MCP服务重构开发范式的创新价值。结合微信小程序开发场景&#xff0c;该平台在以下维度表现突出&#xff1a; 1. AI驱动的全栈开发…

机械加工元件——工业精密制造的璀璨明珠

在工业制造的宏大画卷中&#xff0c;机械加工元件犹如璀璨的明珠&#xff0c;以其卓越的性能和精湛的工艺&#xff0c;为各行各业的发展注入了源源不断的动力。它们虽形态各异&#xff0c;功能不同&#xff0c;却在无数产品中携手合作&#xff0c;展现出科技与柔性的完美融合。…

【八股】Redis-中小厂精要八股

Redis 基础 redis为什么这么快 (高) [!NOTE] 最首要的是Redis是纯内存操作, 比磁盘要快3个数量级同时在与内存操作中采用了非阻塞I/O多路复用机制来提高并发量并且基于Redis的IO密集型&#xff0c;采用单线程操作, 免去了线程切换开销Redis 内置了多种优化过后的数据结构实现…

C++字符串(string)操作解析:从基础到进阶

1. 字符串基础&#xff1a;大小与容量cppvoid test1() {string s1("Hello World");cout << "size : " << s1.size() << endl; // 输出字符串长度cout << "capacity " << s1.capacity() << endl; // 输出字…

蘑兔音乐:音乐创作的魔法棒

在这个充满创意与可能的时代&#xff0c;人人都有一颗渴望表达音乐之心。但传统音乐创作&#xff0c;复杂的乐理、昂贵的设备&#xff0c;总让人望而却步。别担心&#xff01;蘑兔 AI 音乐强势来袭&#xff0c;它就是那个能让音乐小白也能搞创作的神奇工具&#xff01;​灵感模…

从传统到智能:RFID 技术如何重构压缩机生产线

从传统到智能&#xff1a;RFID 技术如何重构压缩机生产线在工业 4.0 与中国制造 2025 战略的深入推进下&#xff0c;作为空调核心部件的压缩机制造业正加速从传统生产模式向智能化转型。压缩机生产以高精度、大批量为显著特点&#xff0c;长期面临生产数据断层、柔性化不足、质…

HTML5二十四节气网站源码

一. 二十四节气文化主题网站概述 本网站以中国传统文化瑰宝“二十四节气”为核心&#xff0c;通过现代Web技术打造沉浸式文化体验平台&#xff0c;融合视觉美学与交互创新&#xff0c;全方位展现节气的自然规律与人文内涵。网站采用响应式布局设计&#xff0c;适配多终端设备&…

微服务架构实战指南:从单体应用到云原生的蜕变之路

&#x1f31f; Hello&#xff0c;我是蒋星熠Jaxonic&#xff01; &#x1f308; 在浩瀚无垠的技术宇宙中&#xff0c;我是一名执着的星际旅人&#xff0c;用代码绘制探索的轨迹。 &#x1f680; 每一个算法都是我点燃的推进器&#xff0c;每一行代码都是我航行的星图。 &#x…

超越Transformer:大模型架构创新的深度探索

引言&#xff1a; 以GPT、Claude、Gemini等为代表的大语言模型&#xff08;LLMs&#xff09;已成为人工智能领域的核心驱动力。它们基于Transformer架构构建&#xff0c;在理解和生成人类语言方面展现出惊人的能力。然而&#xff0c;随着模型规模指数级增长和对更长上下文、更高…

完整设计 之 智能合约系统:主题约定、代理协议和智能合约 (临时命名)--腾讯元宝答问

本文要点和任务整体设计&#xff08;符号学 &#xff1a;为了诠释学实践运用 形。而上理论&#xff0c;将自己作为 两者结合的 条带 &#xff09;&#xff0c;包括三部分&#xff1a;内核&#xff08;设置-组态-主动把握的操作&#xff09;是认知学&#xff08;语义&#xff09…

同创物流学习记录2·电车光电

灯在闪烁&#xff0c;照到你前面的东西了&#xff0c;它可以照前面&#xff0c;可以照6米远。你那个电车前面五六米感应到东西了&#xff0c;它就会减速&#xff0c;然后到3米的样子&#xff0c;它会再减速。然后再到1米2的样子&#xff0c;它就会停下来。电车前侧光电这个区域…

linux I2C核心、总线与设备驱动

一、 linux I2C体系结构linux的I2C体系结构分为3个组成部分1&#xff09;I2C核心I2C核心提供了I2C总线驱动与设备驱动的注册、注销方法&#xff0c;I2C通信方法&#xff08;即Algorithm&#xff09;上层的与具体适配器无关的代码及其探测设备、检测设备地址的上层代码等…

跑实验记录

1.下载git&#xff08;base) mqmq-MS-7A59:~/桌面$ sudo apt update && sudo apt install git2.克隆项目&#xff08;base) mqmq-MS-7A59:~/桌面$ sudo apt update && sudo apt install git3.canda创建环境(base) mqmq-MS-7A59:~$ conda create -n HyTE python…

微软动手了,联合OpenAI + Azure 云争夺AI服务市场

❝开头还是介绍一下群&#xff0c;如果感兴趣PolarDB ,MongoDB ,MySQL ,PostgreSQL ,Redis, OceanBase, Sql Server等有问题&#xff0c;有需求都可以加群群内有各大数据库行业大咖&#xff0c;可以解决你的问题。加群请联系 liuaustin3 &#xff0c;&#xff08;共3300人左右 …

Reading Coach-微软推出的免费AI阅读教练

本文转载自&#xff1a;Reading Coach-微软推出的免费AI阅读教练 - Hello123工具导航 ** 一、智能阅读辅助工具 Reading Coach 是微软推出的 AI 驱动阅读训练平台&#xff0c;通过个性化故事生成与实时发音反馈&#xff0c;帮助学生提升阅读流利度与词汇量。平台采用自适应学…

《软件工程导论》实验报告五 设计建模工具的使用(一)类图

目 录 一、实验目的 二、实验环境 三、学时分配 四、实验内容与步骤 1. 百度搜索1-2张类图&#xff0c;请重新绘制它们&#xff0c;并回答以下问题&#xff1a; 2. 根据以下描述&#xff0c;提取这个问题涉及的类&#xff0c;定义各个类之间的关系&#xff0c;并画出类图…