基于Promethues与Grafana的Greenplum分布式数据库监控的实现

最新推荐文章于 2024-11-11 17:33:47 发布
原创 最新推荐文章于 2024-11-11 17:33:47 发布 · 置顶 · 4k 阅读 · 11 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
收录于
Greenplum

当前文章被收录于：

Greenplum
19 篇文章 6 人学习
订阅专栏 查看详情

一、前言

Greenplum是面向数据仓库应用的分布式关系型MPP数据库，基于PostgreSQL开发，跟PostgreSQL的兼容性非常好，大部分PostgreSQL客户端工具及PostgreSQL应用都能运行在Greenplum平台上。GPCC是Greenplum数据库官方商业版的数据库监控软件，对于只能用得起开源的用户来说，只能考虑其他的监控方案了。本文里介绍一种基于Promethues与Grafana的Greenplum分布式数据库监控的实现方案。

二、Promethues与Grafana简介

2.1、Prometheus简介

Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)，使用Go语言开发。Prometheus目前在开源社区相当活跃。Prometheus性能也足够支撑上万台规模的集群。其架构图如下：

  • Prometheus Server， 负责从 Exporter 拉取和存储监控数据，并提供一套灵活的查询语言（PromQL）供用户使用。
  • Exporter， 负责收集目标对象（host, container…）的性能数据，并通过 HTTP 接口供 Prometheus Server 获取。
  • 可视化组件，监控数据的可视化展现对于监控方案至关重要。以前 Prometheus 自己开发了一套工具，不过后来废弃了，因为开源社区出现了更为优秀的产品 Grafana。Grafana 能够与 Prometheus 无缝集成，提供完美的数据展示能力。
  • Alertmanager，用户可以定义基于监控数据的告警规则，规则会触发告警。一旦 Alermanager 收到告警，会通过预定义的方式发出告警通知。支持的方式包括 Email、PagerDuty、Webhook 等.

2.2、Grafana简介

Grafana是一个跨平台的开源的度量分析和可视化工具，可以通过将采集的数据查询然后可视化的展示，并及时通知。它主要有以下六大特点：

  • 1、展示方式：快速灵活的客户端图表，面板插件有许多不同方式的可视化指标和日志，官方库中具有丰富的仪表盘插件，比如热图、折线图、图表等多种展示方式；
  • 2、数据源：Graphite，InfluxDB，OpenTSDB，Prometheus，Elasticsearch，CloudWatch和KairosDB等；
  • 3、通知提醒：以可视方式定义最重要指标的警报规则，Grafana将不断计算并发送通知，在数据达到阈值时通过Slack、PagerDuty等获得通知；
  • 4、混合展示：在同一图表中混合使用不同的数据源，可以基于每个查询指定数据源，甚至自定义数据源；
  • 5、注释：使用来自不同数据源的丰富事件注释图表，将鼠标悬停在事件上会显示完整的事件元数据和标记；
  • 6、过滤器：Ad-hoc过滤器允许动态创建新的键/值过滤器，这些过滤器会自动应用于使用该数据源的所有查询。

三、Greenplum监控的实现

Greenplum的监控可类似于PostgreSQL来实现，但又存在差异，不同点在于：

  • 要实现一个Greenplum的Exporter指标采集器；
  • 使用Grafana绘制一个可视化状态图；
  • 基于Prometheus配置报警规则（本文此部分略）；

3.1、Greenplum的Exporter指标采集器

这里类比PostgreSQL数据库的Exporter实现方法，实现了一个Greenplum的Exporter，项目地址为：

https://github.com/tangyibo/greenplum_exporter

在greenplum_expoter里主要扩展了实现了客户连接信息、账号连接信息、Segment存储信息、集群节点同步状态、数据库锁监控等相关指标，具体指标如下：

No.指标名称类型标签组指标描述数据源获取方法
1greenplum_cluster_stateGauge

version;

master(master主机名)；

standby(standby主机名)

gp 可达状态 ?：1→ 可用;0→ 不可用

SELECT count(*) from gp_dist_random('gp_id');

select version();

SELECT hostname from p_segment_configuration

where content=-1 and role='p';

2greenplum_cluster_uptimeGauge-启动持续的时间select extract(epoch from now() - pg_postmaster_start_time());
3greenplum_cluster_syncGauge-Master同步Standby状态? 1→ 正常;0→ 异常

SELECT count(*) from pg_stat_replication

where state='streaming'

4greenplum_cluster_max_connectionsGauge-最大连接个数

show max_connections;

show superuser_reserved_connections;

5greenplum_cluster_total_connectionsGauge-当前连接个数

select count(*) total, count(*) filter(where current_query='') idle,

count(*) filter(where current_query<>'') active, count(*) filter(where current_query<>'' and not waiting) running, count(*) filter(where current_query<>'' and waiting) waiting from pg_stat_activity where procpid <> pg_backend_pid();

6greenplum_cluster_idle_connectionsGauge-idle连接数同上
7greenplum_cluster_active_connectionsGauge-active query同上
8greenplum_cluster_running_connectionsGauge-query executing同上
9greenplum_cluster_waiting_connectionsGauge-query waiting execute同上
10greenplum_node_segment_statusGauge

hostname; address; dbid; content;

preferred_role; port; replication_port

segment的状态status: 1(U)→ up; 0(D)→ downselect * from gp_segment_configuration;
11greenplum_node_segment_roleGauge

hostname; address; dbid; content;

preferred_role; port; replication_port

segment的role角色: 1(P)→ primary; 2(M)→ mirror同上
12greenplum_node_segment_modeGauge

hostname; address; dbid; content;

preferred_role; port; replication_port

segment的mode：1(S)→ Synced; 2(R)→ Resyncing; 3(C)→ Change Tracking; 4(N)→ Not Syncing同上
13greenplum_node_segment_disk_free_mb_sizeGaugehostnamesegment主机磁盘空间剩余大小（MB)SELECT dfhostname as segment_hostname,sum(dfspace)/count(dfspace)/(1024*1024) as segment_disk_free_gb from gp_toolkit.gp_disk_free GROUP BY dfhostname
14greenplum_cluster_total_connections_per_clientGaugeclient每个客户端的total连接数select usename, count() total, count() filter(where current_query='') idle, count(*) filter(where current_query<>'') active from pg_stat_activity group by 1;
15greenplum_cluster_idle_connections_per_clientGaugeclient每个客户端的idle连接数同上
16greenplum_cluster_active_connections_per_clientGaugeclient每个客户端的active连接数同上
17greenplum_cluster_total_online_user_countGauge-在线账号数同上
18greenplum_cluster_total_client_countGauge-当前所有连接的客户端个数同上
19greenplum_cluster_total_connections_per_userGaugeusename每个账号的total连接数select client_addr, count() total, count() filter(where current_query='') idle, count(*) filter(where current_query<>'') active from pg_stat_activity group by 1;
20greenplum_cluster_idle_connections_per_userGaugeusename每个账号的idle连接数同上
21greenplum_cluster_active_connections_per_userGaugeusename每个账号的active连接数同上
22greenplum_cluster_config_last_load_time_secondsGauge-系统配置加载时间SELECT pg_conf_load_time()
23greenplum_node_database_name_mb_sizeGaugedbname每个数据库占用的存储空间大小SELECT dfhostname as segment_hostname,sum(dfspace)/count(dfspace)/(1024*1024) as segment_disk_free_gb from gp_toolkit.gp_disk_free GROUP BY dfhostname
24greenplum_node_database_table_total_countGaugedbname每个数据库内表的总数量SELECT count(*) as total from information_schema.tables where table_schema not in ('gp_toolkit','information_schema','pg_catalog');
25greenplum_exporter_total_scrapedCounter---
26greenplum_exporter_total_errorCounter---
27greenplum_exporter_scrape_duration_secondGauge---
28greenplum_server_users_name_listGauge-用户总数SELECT usename from pg_catalog.pg_user;
29greenplum_server_users_total_countGauge-用户明细同上
30greenplum_server_locks_table_detailGauge

pid;datname;usename;

locktype;mode;

application_name;state;

lock_satus;query

锁信息SELECT * from pg_locks
31greenplum_server_database_hit_cache_percent_rateGauge-缓存命中率select sum(blks_hit)/(sum(blks_read)+sum(blks_hit))*100 from pg_stat_database;
32greenplum_server_database_transition_commit_percent_rateGauge-事务提交

3.2、使用Grafana绘制一个可视化状态图

根据以上监测指标，即可使用Grafana配置图像了，具体内容请见：

https://github.com/tangyibo/greenplum_exporter/blob/master/grafana/greenplum_dashboard.json

四、Greenplum监控安装

该章节里讲述在CentOS7操作系统环境下的安装过程，所在的主机IP配置为：172.17.185.94。

4.1、安装Promethues

1、下载解压

wget https://github.com.cnpmjs.org/prometheus/prometheus/releases/download/v2.19.2/prometheus-2.19.2.linux-amd64.tar.gz
tar zxvf prometheus-2.19.2.linux-amd64.tar.gz
mv prometheus-2.19.2.linux-amd64 /usr/local/prometheus

2、创建用户

groupadd prometheus
useradd -g prometheus -m -d /var/lib/prometheus -s /sbin/nologin prometheus
chown prometheus.prometheus -R /usr/local/prometheus

3、创建Systemd服务

cat > /etc/systemd/system/prometheus.service <<EOF
[Unit]
Description=prometheus
After=network.target
[Service]
Type=simple
User=prometheus
ExecStart=/usr/local/prometheus/prometheus --config.file=/usr/local/prometheus/prometheus.yml --storage.tsdb.path=/var/lib/prometheus/data 
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

4、启动Prometheus

systemctl daemon-reload
systemctl start prometheus
systemctl status prometheus

5、访问WEB界面

访问如下地址以检测验证成功安装：

 http://172.17.185.94:9090

说明：如果访问不通，记得关闭主机的防火墙哦，命令为：systemctl stop firewalld.service

4.2、安装Greenplum-Expoter

1、下载安装包

wget https://gitee.com/inrgihc/greenplum_exporter/attach_files/622155/download/greenplum_exporter-1.1-rhel7.x86_64.rpm

说明：该Exporter支持Greenplum V5.x及Greenplum V6.x等版本。

2、安装软件包

[root@localhost ~]# rpm -ivh greenplum_exporter-1.1-rhel7.x86_64.rpm 
准备中...                          ################################# [100%]
正在创建信箱文件: 文件已存在
正在升级/安装...
   1:greenplum_exporter-1.1-rhel7     ################################# [100%]

软件默认安装在： /usr/local/greenplum_exporter

3、配置数据库连接

修改/usr/local/greenplum_exporter/etc/greenplum.conf文件中配置的greenplum数据库服务器的地址和gpadmin账号的密码（可见下）。默认如下：

[root@localhost etc]# pwd
/usr/local/greenplum_exporter/etc
[root@localhost etc]# cat greenplum.conf 
GPDB_DATA_SOURCE_URL=postgres://gpadmin:gpadmin@127.0.0.1:5432/postgres?sslmode=disable
[root@localhost etc]#

4、启动Expoter程序

systemctl start greenplum_exporter
systemctl status greenplum_exporter

5、验证

访问如下地址以检测验证成功安装：

http://172.17.185.94:9297/metrics

说明：如果访问不通，记得关闭主机的防火墙哦

 

也可使用docker直接部署：

docker run -d -p 9297:9297 -e GPDB_DATA_SOURCE_URL=postgres://gpadmin:gpadmin@10.17.20.11:5432/postgres?sslmode=disable inrgihc/greenplum-exporter:latest

其中的环境变量GPDB_DATA_SOURCE_URL为连接greenplum6的连接串，该连接串以postgres://为前缀，具体格式如下：

postgres://gpadmin:password@10.17.20.11:5432/postgres?sslmode=disable
postgres://[数据库连接账号，必须为gpadmin]:[账号密码，即gpadmin的密码]@[数据库的IP地址]:[数据库端口号]/[数据库名称，必须为postgres]?[参数名]=[参数值]&[参数名]=[参数值]

4.3、配置Promethues

1、将greenplum_expter配置到prometheus.yml的采集target列表中

vim /usr/local/prometheus/prometheus.yml

在文件尾部追加如下配置：

  - job_name: 'greenplum'
    static_configs:
    - targets: ['127.0.0.1:9297']

完整配置如下：

2、重启prometheus服务

systemctl restart prometheus

3、检测promethus的web端配置已成功

4.3、安装Grafana可视化工具

1、下载

wget https://dl.grafana.com/oss/release/grafana-7.0.5-1.x86_64.rpm

2、安装

yum localinstall -y grafana-7.0.5-1.x86_64.rpm

3、配置

配置文件位于/etc/grafana/grafana.ini，这里暂时保持默认配置即可

4、启动

systemctl start grafana-server

5、访问

访问地址：http://172.17.185.94:3000

用户名：admin

密码：admin

4.4、配置Grafana

当使用admin账号登录grafana后，再进行如下配置操作：

1、添加promethus数据源

2、配置greenplum状态图

将https://github.com/tangyibo/greenplum_exporter/blob/master/grafana/greenplum_dashboard.json中配置的内容粘贴到上图红色框框内，或者填写仪表图的Grafana ID  13822, 然后点击load按钮即可加载。

五、Greenplum的Docker安装

5.1、Greenplum5

docker run -i -d -p 5432:5432 psavchenko/greenplum-db-5.9.0

账号：gpadmin

密码：welcome1

5.2、Greenplum6

mkdir -p /usr/local/gpdb/data
docker run -d -p 5432:5432 -v /usr/local/gpdb/data:/data  inrgihc/greenplum:6.11.1

账号：gpadmin

密码：greenplum

 

更多安装方式可参考：https://blog.csdn.net/inrgihc/article/details/108686153

基于go语言为Greenplum集成普罗米修斯(prometheus)的监控数据采集器
10-09
Greenplum-exporter 基于go语言为Greenplum集成普罗米修斯(prometheus)的监控数据采集器。 项目地址： Github: https://github.com/tangyibo/greenplum_exporter Gitee: https://gitee.com/inrgihc/greenplum_exporter 一、编译方法 centos系统下编译 (1) 环境安装 wget https://gomirrors.org/dl/go/go1.14.12.linux-amd64.tar.gz tar -C /usr/local -xzf go1.14.12.linux-amd64.tar.gz export PATH=$PATH:/usr/local/go/bin go env -w GO111MODULE=on go env -w GOPROXY=https://goproxy.io,direct (2) 软件编译 git clone https://github.com/tangyibo/greenplum_exporter cd g
greenplum_exporter:Greenplum（v5，v6）出口商为普罗米修斯
05-24
Greenplum-exporter 基于go语言为Greenplum集成普罗米修斯(prometheus)的监控数据采集器。 项目地址： Github: Gitee: 一、编译方法 centos系统下编译 (1) 环境安装 wget https://gomirrors.org/dl/go/go1.14.12.linux-amd64.tar.gz tar -C /usr/local -xzf go1.14.12.linux-amd64.tar.gz export PATH=$PATH:/usr/local/go/bin go env -w GO111MODULE=on go env -w GOPROXY=https://goproxy.io,direct (2) 软件编译 git clone https://github.com/tangyibo/greenplum_exporter cd
适用于开源&商业版的Greenplum监控解决方案
Greenplum中文社区
12-15 1939
了解更多Greenplum相关内容，欢迎访问Greenplum中文社区网站 Greenplum是全球首个开源MPP数据库，内核基于Postgre...
Greenplum 可观测最佳实践
最新发布
观测云的博客
11-11 1417
通过采集 Greenplum 指标到观测云平台，实现对 Greenplum 数据库性能的监控、分析以及故障检测和通知，从而提升 Greenplum 的稳定性和可靠性。
Prometheus Operator 架构 - 每天5分钟玩转 Docker 容器技术（178）
weixin_40581617的博客
06-07 448
本节讨论 Prometheus Operator 的架构。因为 Prometheus Operator 是基于 Prometheus 的，我们需要先了解一下 Prometheus。Prometheus 架构Prometheus 是一个非常优秀的监控工具。准确的说，应该是监控方案。Prometheus 提供了数据搜集、存储、处理、可视化和告警一套完整的解决方案。Prometheus 的架构如下图所示...
GreenPlum运维监控工具-gpcc-web安装
wangning0714的博客
05-17 7990
Greenplum Command Center（GPCC）是由Pivotal Software推出的一款监控和管理Greenplum Database的Web应用程序。它提供了一个易于使用的界面，可以帮助管理员监控集群的性能、诊断问题、管理用户和权限、设置预警和警报，并执行其他管理任务。GPCC具有以下主要功能：监控集群性能：GPCC提供了关于Greenplum集群中各个组件的性能指标的详细信息，包括查询性能、磁盘和内存使用情况、系统负载、网络流量等。
技术分享 | Prometheus+Grafana监控MySQL浅析
GreatSQL2021的博客
01-17 1227
GreatSQL社区原创内容未经授权不得随意使用，转载请联系小编并注明来源。 简介 Prometheus 一套开源的监控&报警&时间序列数据库的组合，通常 Kubernetes 中都会配合 Prometheus 进行监控, 由于Prometheus 自带的图像不够强大，Grafana 作为 Dashboard 配合Prometheus 作为展示。 Grafana 也是可以直接访问 MySQL 的Performance Schema 作为展示。 架构 通过Prometheus 采集 .
Greenplum 监控segment是否正常
weixin_33881140的博客
07-04 2397
在greenplum运行过程中，Segement很有可能因为压力大出现不可用的情况， 主备Segement发现了切换，或是主备Segement网络断开，数据不同步了。在 默认情况下，如果GreenPlum4.X版本中，有一个Segment失败了，数据库还是会 正常运行的，如果是主Segemnt失败了，则切换到备Segment上，这样必须对Segment 是否正常加以监控，一般有以下两种监控...
Prometheus + Grafana 监控解决方案介绍及部署
m0_58833554的博客
03-12 2316
Prometheus + Grafana 监控解决方案介绍及部署
Grafana【实践 01】Greenplum和InfluxDB数据源添加及仪表盘测试
Java与大数据相关实践内容分享！
04-29 1969
本文介绍了如何在Grafana中配置Greenplum和InfluxDB数据源并创建仪表盘。对于Greenplum，虽然官方不支持但可通过PostgreSQL连接器实现，需注意禁用SSL。InfluxDB配置则需要填写URL、数据库信息和认证凭据。两种数据源连接成功后，用户可通过灵活的可视化配置工具创建仪表盘，支持条件筛选和自定义SQL查询。文章提供了详细的配置步骤和截图说明，帮助用户快速实现数据可视化。
Grafana【环境搭建 01】CentOS release 7.5 可视化工具 Grafana 8.2.0 专业版安装配置及使用（SHA256完整性验证+Greenplum数据源添加+仪表盘测试）
シ風
10-08 836
本文介绍了在CentOS 7.5系统上安装配置Grafana 8.2.0专业版的过程。文章首先说明了在数据中台项目中需要可视化展示多种数据源（Oracle、MySQL、Greenplum、Influxdb等）的需求，然后详细描述了从官网下载RPM包、验证完整性、安装软件、修改配置文件（主要调整domain设置）的步骤。接着介绍了两种启动方式（系统调用和二进制方式），并演示了通过Web界面登录和添加Greenplum数据源（使用PostgreSQL插件）的方法。最后展示了如何创建仪表盘并进行简单测试，指出Gr
Grafana【部署 01】可视化工具 Grafana 8.2.0 专业版安装配置及使用（SHA256完整性验证+Greenplum数据源添加+仪表盘测试）
Java与大数据相关实践内容分享！
04-29 1970
摘要：本文介绍了Grafana的部署与使用过程。项目需要展示多种数据库（Oracle、MySQL、Greenplum、Influxdb）的数据，选择Grafana作为可视化工具。详细说明了在CentOS系统下的安装步骤、配置文件修改（如调整domain设置）及启动方式。重点演示了如何添加Greenplum数据源（通过PostgreSQL连接）和创建仪表盘，包括解决SSL连接问题。最后指出Grafana需依赖time字段进行数据筛选的特点，整体操作流程简洁高效。
监控神器-普罗米修斯Prometheus
定格空间
06-24 5818
什么是Prometheus? Prometheus使用Go语言开发，是Google BorgMon监控系统的开源版本。 Prometheus是监控平台，通过HTTP实时查看系统各项性能指标。足够支撑上万台规模的集群。 Prometheus的特点 多维度数据模型。 灵活的查询语言。 不依赖分布式存储，单个服务器节点是自主的。 通过基于HTTP的pull方式采集时序数据。 可以通过中间网关进行时序列数据推送。 通过服务发现或者静态配置来发现目标服务对象。 支持多种多样的图表和界面展示，比如Grafana等
Prometheus（普罗米修斯）监控架构简介
Sansipi的博客
09-25 1万+
Prometheus（普罗米修斯）监控架构简介
greenplum集群常用运维排障命令汇总
wt334502157的博客
10-31 1103
gprecoverseg 优先级顺序 1. gprecoverseg -a --> 2. gprecoverseg --> 3. gprecoverseg -r。表膨胀通常指的是表的物理磁盘空间使用超过了实际需要的大小，导致性能下降和资源浪费，表膨胀问题需要处理，因为它会导致磁盘空间的浪费，减慢查询性能。：这将创建一个新的表，将数据从原始表复制到新表，并替换原始表。这是处理大型膨胀表的更强大选项。：运行VACUUM操作可以帮助清理并释放未使用的磁盘空间。是一个轻量级的操作，适用于小型的膨胀表。
greenplum 运维监控参数配置
kevin
07-05 1469
一 . 状态监控 1.1gpstate 命令 参数 作用 gpstate -b => 显示简要状态 gpstate -c => 显示主镜像映射 gpstart -d => 指定数据目录（默认值：$MASTER_DATA_DIRECTORY） gpstate -e => 显示具有镜像状态问题的片段 gpstate -f => 显示备用主机详细信息 gpstate -i => 显示GRIPLUM数据库版本 gpstate -m => 显示镜像实例同.
数据库监控 Prometheus + Grafana
weixin_43451783的博客
10-09 582
安装所需插件： What is Prometheus? Prometheus是最初在SoundCloud上构建的开源系统监视和警报工具包。 自2012年成立以来，许多公司和组织都采用了Prometheus，该项目拥有非常活跃的开发人员和用户社区。 现在，它是一个独立的开源项目，并且独立于任何公司进行维护。 为了强调这一点并阐明项目的治理结构，Prometheus在2016年加入了Cloud Native Computing Foundation，这是继Kubernetes之后的第二个托管项目。 功
OLAP(六)：Greenplum 数据库--面向 OLAP 的高性能分布式数据仓库解决方案
热门推荐
.
04-02 1万+
Greenplum是一款基于PostgreSQL的MPP架构分布式数据库，专为海量数据分析设计。它采用Shared-Nothing架构，通过数据分片和并行处理实现高性能查询，支持线性扩展至数千个CPU。核心优势包括：完整SQL支持、分布式事务保障、近乎线性的扩展能力。支持行/列存储及外部表访问，提供并行加载技术，ETL速度提升40-50倍。典型应用于数据仓库、OLAP分析等场景，相比传统数据库和Hadoop，在性能、易用性和扩展性方面表现突出，是企业级大数据分析的理想选择。
【云原生监控系列第一篇】一文详解Prometheus普罗米修斯监控系统（山前前后各有风景，有风无风都很自由）
Stevelu的技术博客
07-31 7157
zabbix是传统的监控系统，出现比云原生早，使用的是SQL关系型数据库；而Prometheus基于谷歌的borgemon使用go语言开发，使用TSDB数据库，所以支持云原生。zabbix最新发布的6.0版本，知道自己处于生死存亡时刻，也支持了Prometheus使用的TSDB数据库。Prometheus是一个开源的服务监控系统和时序数据库，其提供了通用的数据模型和快捷数据采集、存储和查询接口。它的核心组件Prometheusserver会定期从静态配置的监控目标或者基于服务发现自动配置的自标中进行。...
开源Greenplum数据库insert写入性能测试
IT- 研究者
06-17 6992
一、说在前面的话 话说搞IT好久了，忙起来好久没写过文章了。这次终于在周末挤出点时间写一篇了。 近些年，大数据技术在IT界里已经是必提的话题了，甚至朋友圈里经常看到一些先前同事、项目合作公司朋友们等发的大数据相关的各种分享。 最近工作中也在做一款与数据相关的产品，不幸的是，真正遇到数据量大的时候，发现常用的MySQL等数据库真是顶不住。百度一下，当前流行的...
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值