【DBA手记】MySQL夯住案例 MHA环境relay-log中继日志导致服务器磁盘满 ...

惊雷无声  论坛元老 | 2024-8-7 11:02:00 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 1028|帖子 1028|积分 3084

马上注册，结交更多好友，享用更多功能，让你轻松玩转社区。

您需要 登录 才可以下载或查看，没有账号？立即注册

x
【DBA手记】MySQL夯住案例 MHA环境relay-log中继日志导致服务器磁盘满
author: superSong
Email: dba.supersong@163.com
配景及环境

今天一早系统组同事找我说，监控诉警 有一个mysql服务器磁盘空间不足，空间都给mysql占了，找我清理一下。我登录服务器后，查看了一下相关系统和mha的摆设环境，发现所剩空间不多，重要原因是中继日志积聚太多，自动清理脚本"失效"，处理过程中眼看空间耗尽导致mysql实例夯住，在这种极端情况下举行了处理，记载处理解决过程。以下是环境配置：


  • MHA高可用集群环境，龙蜥anolis8.5.0 ，mysql5.7.30
  • zabbix监控诉警 |钉钉告警提醒 mysql从节点磁盘空间不足
  • 磁盘不足的分区为/data，data下只有mysql的文件，为安装目录和数据存放目录
  • mysql的中继日志relay-log积聚过多
  • 中继日志设置为不自动清理relay_log_purge=0
  • crontab有定时任务自动清理中继日志脚本purge_relay_log.sh
    实际会调过perl脚本/usr/bin/purge_relay_logs
  • mysql的binlog二进制日志 过期自动清理设置为7天
  • 磁盘空间告急，逐步耗尽 mysql实例夯住
问题分析和排查思绪



  • 不能直接在linux下rm暴力删除mysql的binlog和relay日志文件
  • 没有其它可以清理的垃圾文件，难以释放出一些空间
  • binlog有手工清理命令，可以立即释放空间
  • relay-log没有手工清理命令，只能依赖mha的脚本，但有时效性，不会立即触发删除动作 要隔一段时间才会清理
  • 立即关停从库复制线程stop slave，避免空间持续增长
  • stop slave 时夯住 ，要找出一个大文件mv先移走 以释放一些空间，让mysql有机会关停复制线程，解决夯住卡死。
  • 移动哪个文件？临时释放点空间呢？给出操作窗口
  • 找出一个mysql自带的不无紧要的测试文件mysqltest_embedded ：因为/data下只有mysql的文件，看不到能动的文件，再分析后，可以mv移走这个（本环境中） 在mysql的安装目录的bin目录中找出一个200M的文件/data/mysql/bin/mysqltest_embedded 这是个用来测试的文件并不重要 可以先mv走，转头问题解决了 再mv回来。
总结及建议



  • 碰到mysql从库磁盘将近耗尽时，要起首立即关停从库的复制线程，以免空间持续增长
  • 以我之前的经验，要在mysql的data里创建一个5G的临时文件xxx.tmp，以备不时之需，当空间耗尽时，可以删除这个临时文件，释放一些空间，留给DBA排查处理问题的操作窗口，不至于linux系统和mysql夯住卡死。
  • crontab的定时任务可以跑2个清理中继日志的脚本，以两个差别时间来触发relay-log的删除清理操作 之前在其它mha环境就碰到过这个问题 用2个脚本来解决的
  • 观察binlog 和relay-log天天的天生量，如果增长量过大，要提前对磁盘扩容 这里天天relay-log 天生量约8G，相关binlog也在8G左右，一天总增量就有16G了
  • binlog二进制日志过期自动清理时间 可以缩短一些，这里已为7天缩短为5天
处理过程

清理relay-log中继日志

进入到data目录下 占用最多的就是binlog日志和relay-log日志。
crontab -l 找出自动清理relay log的脚本
  1. [root@localrsourcemysql02 bin]# crontab -l
  2. ...
  3. 5 2 * * * /usr/local/bin/scripts/purge_relay_log.sh
复制代码
然后手工实行这个脚本 来清理中继日志，但它不会立即见效，需要在从库mysql线程适当的机会才会触发清理删除relay-log，如下
  1. [root@localrsourcemysql02 ~]# df -TH
  2. 文件系统            类型      容量  已用  可用 已用% 挂载点
  3. devtmpfs            devtmpfs  2.0G     0  2.0G    0% /dev
  4. tmpfs               tmpfs     2.0G     0  2.0G    0% /dev/shm
  5. tmpfs               tmpfs     2.0G   18M  2.0G    1% /run
  6. tmpfs               tmpfs     2.0G     0  2.0G    0% /sys/fs/cgroup
  7. /dev/mapper/ao-root xfs       113G  113G  310M  100% /  ## 空间即将耗尽
  8. /dev/sda1           xfs       1.1G  339M  726M   32% /boot
  9. /dev/mapper/ao-home xfs        22G  193M   22G    1% /home
  10. tmpfs               tmpfs     391M   21k  391M    1% /run/user/42
  11. [root@localrsourcemysql02 ~]# /usr/local/bin/scripts/purge_relay_log.sh #清理relay日志命令不会立即生效
  12. [root@localrsourcemysql02 ~]#
  13. [root@localrsourcemysql02 ~]# df -TH
  14. 文件系统            类型      容量  已用  可用 已用% 挂载点
  15. devtmpfs            devtmpfs  2.0G     0  2.0G    0% /dev
  16. tmpfs               tmpfs     2.0G     0  2.0G    0% /dev/shm
  17. tmpfs               tmpfs     2.0G   18M  2.0G    1% /run
  18. tmpfs               tmpfs     2.0G     0  2.0G    0% /sys/fs/cgroup
  19. /dev/mapper/ao-root xfs       113G  113G  234M  100% / # 空间并不会立即释放
  20. /dev/sda1           xfs       1.1G  339M  726M   32% /boot
  21. /dev/mapper/ao-home xfs        22G  193M   22G    1% /home
  22. tmpfs               tmpfs     391M   21k  391M    1% /run/user/42
复制代码
mha环境中实际清理relay-log中继日志的的perl步伐脚本
  1. [root@localrsourcemysql02 bin]# cat /usr/local/bin/scripts/purge_relay_log.sh
  2. #!/bin/bash
  3. source /etc/profile
  6. user=root
  7. passwd="XXXXXX"
  8. port=3306
  9. log_dir='/data/masterha/log'            # 存储脚本执行日志的路径
  10. work_dir='/data/masterha/data'          # 存放relay bin log 硬链接的地方。
  11. purge='/usr/bin/purge_relay_logs'       # purge 命令
  13. if [ ! -d $log_dir ]                    # 如果没有变量Log_dir 指定的路径，则创建一个。
  14. then
  15.    mkdir $log_dir -p
  16. fi
  18. $purge --user=$user --password=$passwd --disable_relay_log_purge --port=$port --workdir=$work_dir >> $log_dir/purge_relay_logs.log 2>&1
  20. ## 实际清理relay-log的perl程序脚本 可以关注里面的调用方法："" Executing SET GLOBAL relay_log_purge=1; FLUSH LOGS; sleeping a few seconds so that SQL thread can delete older relay log files (if it keeps up); SET GLOBAL relay_log_purge=0; ..";
  21. "
  22. [root@localrsourcemysql02 bin]# cat /usr/bin/purge_relay_logs
  23. #!/usr/bin/env perl
  25. #  Copyright (C) 2011 DeNA Co.,Ltd.
  26. #
  27. ...
  28. #  51 Franklin Street, Fifth Floor, Boston, MA  02110-1301  USA
  30. use strict;
  31. use warnings FATAL => 'all';
  33. use Carp qw(croak);
  34. use English qw(-no_match_vars);
  35. use Getopt::Long;
  36. ......
  37. use MHA::NodeConst;
  38. use DBI;
  40. GetOptions(
  41.   \my %opt, qw/
  42.     help
  43. ...
  44.     host=s
  45. ...
  46. ...
  47. my $_binlog_manager;
  48. my $_relay_log_info_path   = $opt{relay_log_info};
  49. my @relay_log_files_handle = ();
  51. if ( $opt{help} ) {
  52.   pod2usage(0);
  53. }
  55. if ( $opt{version} ) {
  56.   print "purge_relay_logs version $MHA::NodeConst::VERSION.\n";
  57.   exit 0;
  58. }
  60. exit &main();
  62. sub open_relay_logs() {
  63.   my $relay_dir = $_binlog_manager->{dir};
  64.   my @files =
  65.     MHA::BinlogManager::g
  66. ...
  67.        " Getting advisory lock failed. Maybe failover script is running?\n";
  68.     }
  69.     save_error_log($dbh);
  70.     print
  71. " Executing SET GLOBAL relay_log_purge=1; FLUSH LOGS; sleeping a few seconds so that SQL thread can delete older relay log files (if it keeps up); SET GLOBAL relay_log_purge=0; ..";
  72.     MHA::SlaveUtil::purge_relay_logs($dbh);
  73.     print " ok.\n";
  75.     MHA::SlaveUtil::release_failover_advisory_lock($dbh);
  76.     if ( $opt{use_hard_link} ) {
  77.       remove_hardlinked_relay_logs();
  78. ...
复制代码
磁盘不足分区情况
mysql的步伐安装目录和数据目录 都在/data下
  1. [root@localrsourcemysql02 /]# ll /data
  2. 总用量 12
  3. -rw-r--r--  1 root  root  10420 4月   7 15:08 data.7
  4. drwxr-xr-x  3 root  root     17 4月  24 02:05 masterha
  5. drwxr-xr-x 10 mysql mysql   158 4月  19 17:09 mysql
  6. drwxr-xr-x  2 mysql mysql    22 4月  19 17:10 slowlog
  8. [root@localrsourcemysql02 /]# cd /data/mysql/
  9. [root@localrsourcemysql02 mysql]# ll
  10. 总用量 300
  11. drwxr-xr-x  2 mysql mysql   4096 5月   6 10:07 bin
  12. drwxr-x---  9 mysql mysql   8192 5月   6 17:21 data  #### 数据目录 占用了空间
  13. drwxr-xr-x  2 mysql mysql     55 4月  19 17:09 docs
  14. -rw-r--r--  1 mysql mysql      0 4月  19 17:09 error.log
  15. drwxr-xr-x  3 mysql mysql   4096 4月  19 17:09 include
  16. drwxr-xr-x  5 mysql mysql    230 4月  19 17:09 lib
  17. -rw-r--r--  1 mysql mysql 275235 3月  24 2020 LICENSE
  18. drwxr-xr-x  4 mysql mysql     30 4月  19 17:09 man
  19. -rw-r--r--  1 mysql mysql    587 3月  24 2020 README
  20. drwxr-xr-x 28 mysql mysql   4096 4月  19 17:09 share
  21. drwxr-xr-x  2 mysql mysql     90 4月  19 17:09 support-files
复制代码
从库运行状态情况
  1. root@db 09:54:  [(none)]> show slave status\G
  2. *************************** 1. row ***************************
  3.                Slave_IO_State: Waiting for master to send event
  4.                   Master_Host: XXXXXX
  5.                   Master_User: myslave
  6.                   Master_Port: 3306
  7.                 Connect_Retry: 60
  8.               Master_Log_File: mybinlog.000048
  9.           Read_Master_Log_Pos: 372826468
  10.                Relay_Log_File: relay-log-bin.000141
  11.                 Relay_Log_Pos: 236370533
  12.         Relay_Master_Log_File: mybinlog.000047
  13.              Slave_IO_Running: Yes
  14.             Slave_SQL_Running: Yes
  15.               Replicate_Do_DB:
  16.           Replicate_Ignore_DB:
  17.            Replicate_Do_Table:
  18.        Replicate_Ignore_Table:
  19.       Replicate_Wild_Do_Table:
  20.   Replicate_Wild_Ignore_Table:
  21.                    Last_Errno: 0
  22.                    Last_Error:
  23.                  Skip_Counter: 0
  24.           Exec_Master_Log_Pos: 236370322
  25.               Relay_Log_Space: 50839026647
  26.               Until_Condition: None
  27.                Until_Log_File:
  28.                 Until_Log_Pos: 0
  29.            Master_SSL_Allowed: No
  30.            Master_SSL_CA_File:
  31.            Master_SSL_CA_Path:
  32.               Master_SSL_Cert:
  33.             Master_SSL_Cipher:
  34.                Master_SSL_Key:
  35.         Seconds_Behind_Master: 11959
  36. Master_SSL_Verify_Server_Cert: No
  37.                 Last_IO_Errno: 0
  38.                 Last_IO_Error:
  39.                Last_SQL_Errno: 0
  40.                Last_SQL_Error:
  41.   Replicate_Ignore_Server_Ids:
  42.              Master_Server_Id: 1
  43.                   Master_UUID: b1fda908-fe18-11ee-afef-005056a86fa6
  44.              Master_Info_File: /data/mysql/data/master.info
  45.                     SQL_Delay: 0
  46.           SQL_Remaining_Delay: NULL
  47.       Slave_SQL_Running_State: Reading event from the relay log
  48.            Master_Retry_Count: 86400
  49.                   Master_Bind:
  50.       Last_IO_Error_Timestamp:
  51.      Last_SQL_Error_Timestamp:
  52.                Master_SSL_Crl:
  53.            Master_SSL_Crlpath:
  54.            Retrieved_Gtid_Set: b1fda908-fe18-11ee-afef-005056a86fa6:1-40300328
  55.             Executed_Gtid_Set: b1fda908-fe18-11ee-afef-005056a86fa6:1-39343990
  56.                 Auto_Position: 1
  57.          Replicate_Rewrite_DB:
  58.                  Channel_Name:
  59.            Master_TLS_Version:
  60. 1 row in set (0.00 sec)
复制代码
binlog 日志和relay-log日志情况 2者占用最大

  1. # binlog
  2. [root@localrsourcemysql02 data]# ll -h mybinlog.*
  3. -rw-r----- 1 mysql mysql 1.1G 5月   1 05:20 mybinlog.000005
  4. -rw-r----- 1 mysql mysql 1.1G 5月   1 08:20 mybinlog.000006
  5. -rw-r----- 1 mysql mysql 1.1G 5月   1 11:20 mybinlog.000007
  6. -rw-r----- 1 mysql mysql 1.1G 5月   1 14:20 mybinlog.000008
  7. -rw-r----- 1 mysql mysql 1.1G 5月   1 17:20 mybinlog.000009
  8. -rw-r----- 1 mysql mysql 1.1G 5月   1 20:20 mybinlog.000010
  9. -rw-r----- 1 mysql mysql 1.1G 5月   1 23:20 mybinlog.000011
  10. -rw-r----- 1 mysql mysql 1.1G 5月   2 02:21 mybinlog.000012
  11. ...
  12. ...
  13. -rw-r----- 1 mysql mysql 1.1G 5月   6 02:21 mybinlog.000044
  14. -rw-r----- 1 mysql mysql 1.1G 5月   6 09:40 mybinlog.000045
  15. -rw-r----- 1 mysql mysql 1.1G 5月   6 10:21 mybinlog.000046
  16. -rw-r----- 1 mysql mysql  81M 5月   6 10:24 mybinlog.000047
  17. -rw-r----- 1 mysql mysql 1.4K 5月   6 10:21 mybinlog.index
  19. # relay-log
  20. [root@localrsourcemysql02 data]# ll -h relay-log*|more
  21. -rw-r----- 1 mysql mysql  291 4月  30 23:10 relay-log-bin.000010
  22. -rw-r----- 1 mysql mysql 1.1G 5月   1 02:07 relay-log-bin.000011
  23. -rw-r----- 1 mysql mysql  842 5月   1 02:07 relay-log-bin.000012
  24. -rw-r----- 1 mysql mysql  291 5月   1 02:07 relay-log-bin.000013
  25. -rw-r----- 1 mysql mysql 1.1G 5月   1 05:04 relay-log-bin.000014
  26. -rw-r----- 1 mysql mysql 6.2K 5月   1 05:04 relay-log-bin.000015
  27. -rw-r----- 1 mysql mysql  291 5月   1 05:04 relay-log-bin.000016
  28. -rw-r----- 1 mysql mysql 1.1G 5月   1 08:01 relay-log-bin.000017
  29. ...
  30. ...
  31. -rw-r----- 1 mysql mysql 185M 5月   6 09:24 relay-log-bin.000145
  32. -rw-r----- 1 mysql mysql 4.9M 5月   6 09:25 relay-log-bin.000146
  33. -rw-r----- 1 mysql mysql 351K 5月   6 09:25 relay-log-bin.000147
  34. -rw-r----- 1 mysql mysql 139M 5月   6 09:49 relay-log-bin.000148
  35. -rw-r----- 1 mysql mysql   85 5月   6 09:49 relay-log.info
  36. [root@localrsourcemysql02 data]# du -shc relay-log-bin*
  37. ...
  38. 8.0K        relay-log-bin.000132
  39. 4.0K        relay-log-bin.000133
  40. 1.1G        relay-log-bin.000134
  41. ...
  42. 770M        relay-log-bin.000141
  43. 204M        relay-log-bin.000142
  44. 51M        relay-log-bin.000143
  45. 4.0K        relay-log-bin.000144
  46. 185M        relay-log-bin.000145
  47. 4.9M        relay-log-bin.000146
  48. 352K        relay-log-bin.000147
  49. 113M        relay-log-bin.000148
  50. 4.0K        relay-log.info
  51. 45G        总用量
复制代码
手工清理binlog二进制日志 并关停从库

我想通过删除一些binlog日志先临时释放空间，但为时已晚，空间已耗尽，因为从库的中继日志不绝增长，那赶快制止从库的复制线程，如下 删除报错，mysql实例也夯住了，这时linux系统在敲打一些命令时，也会同样报错，没有空间来实行了。
  1. [root@localrsourcemysql02 bin]# df -Th
  2. 文件系统            类型      容量  已用  可用 已用% 挂载点
  3. ......
  4. /dev/mapper/ao-root xfs       105G  105G   20K  100% /   #空间已耗尽了
  5. ......
  6. root@db 09:54:  [(none)]> purge master logs to 'mybinlog.000010';
  7. ERROR 29 (HY000): File '/data/mysql/data/mybinlog.~rec~' not found (Errcode: 28 - No space left on device)
  8. root@db 10:00:  [(none)]> purge master logs to 'mybinlog.000002'; # 删除binlog报错 没空间了
  9. ERROR 29 (HY000): File '/data/mysql/data/mybinlog.~rec~' not found (Errcode: 28 - No space left on device)
  10. root@db 10:00:  [(none)]>
  11. root@db 10:00:  [(none)]> stop slave; # 实例夯住 卡主了 没反应
复制代码
处理mysql实例夯住



  • mv移动走一个无关紧要的文件，临时释放一点薄弱空间， 这时磁盘释放出200M的空间，能让 stop slave实行完成了 如下
  1. [root@localrsourcemysql02 bin]# mv /data/mysql/bin/mysqltest_embedded /home
  2. root@db 10:00:  [(none)]> stop slave; ## 之前夯住的命令 已执行完了 中继日志不再增长
  5. Query OK, 0 rows affected (2 min 36.72 sec)
复制代码
先手工清理少量binlog日志 再一次批量清理 逐步释放

上面，已关停了从库复制，中继日志不再增长，在这个还剩下不多空间的空当下，先手工清理一个binlog日志吧 一个就1G，然后4个，然后30个
同时，要注意在mha环境下 要先查看其它从库复制情况和binlog天生情况，复制环境最近的binlog照旧要生存的，以备切换之用。
再多清理一些，空间会立即释放很多个G
  1. root@db 10:04:  [(none)]>  purge master logs to 'mybinlog.000002';
  2. Query OK, 0 rows affected (0.00 sec)
  4. root@db 10:04:  [(none)]>  purge master logs to 'mybinlog.000005';
  5. Query OK, 0 rows affected (0.01 sec)
  7. root@db 10:04:  [(none)]> purge master logs to 'mybinlog.000035';
  8. Query OK, 0 rows affected (0.04 sec)
复制代码
等候relay-log清理脚本择机见效后 清理完毕

经过，上面对binlog日志的清理后，系统已经释放了30G的空间了，足够等候relay-log脚本的见效触发删除中继日志的动作
几个小时后，再观察relay-log情况，已自动清理完毕
  1. [root@localrsourcemysql02 data]# ll
  2. 总用量 22388872
  3. -rw-r----- 1 mysql mysql         56 4月  19 17:10 auto.cnf
  4. -rw------- 1 mysql mysql       1676 4月  19 17:10 ca-key.pem
  5. -rw-r--r-- 1 mysql mysql       1112 4月  19 17:10 ca.pem
  6. -rw-r--r-- 1 mysql mysql       1112 4月  19 17:10 client-cert.pem
  7. -rw------- 1 mysql mysql       1680 4月  19 17:10 client-key.pem
  8. -rw-r----- 1 mysql mysql          7 4月  23 15:34 db.pid
  9. -rw-r----- 1 mysql mysql      76880 5月   6 14:52 error.log
  10. -rw-r----- 1 mysql mysql        329 4月  23 14:45 ib_buffer_pool
  11. -rw-r----- 1 mysql mysql 1073741824 5月   6 17:02 ibdata1
  12. -rw-r----- 1 mysql mysql 2147483648 5月   6 17:25 ib_logfile0
  13. -rw-r----- 1 mysql mysql 2147483648 5月   6 10:09 ib_logfile1
  14. -rw-r----- 1 mysql mysql   12582912 4月  23 15:34 ibtmp1
  15. -rw-r----- 1 mysql mysql       9508 5月   6 17:24 innodb_status.180711
  16. -rw-r----- 1 mysql mysql        148 5月   6 17:25 master.info
  17. -rw-r----- 1 mysql mysql 1073742093 5月   4 23:21 mybinlog.000035
  18. -rw-r----- 1 mysql mysql 1073743271 5月   5 02:21 mybinlog.000036
  19. -rw-r----- 1 mysql mysql 1073743093 5月   5 05:21 mybinlog.000037
  20. -rw-r----- 1 mysql mysql 1073744200 5月   5 08:21 mybinlog.000038
  21. -rw-r----- 1 mysql mysql 1073742152 5月   5 11:21 mybinlog.000039
  22. -rw-r----- 1 mysql mysql 1073743774 5月   5 14:21 mybinlog.000040
  23. -rw-r----- 1 mysql mysql 1073746089 5月   5 17:21 mybinlog.000041
  24. -rw-r----- 1 mysql mysql 1073745109 5月   5 20:21 mybinlog.000042
  25. -rw-r----- 1 mysql mysql 1073742856 5月   5 23:21 mybinlog.000043
  26. -rw-r----- 1 mysql mysql 1073745098 5月   6 02:21 mybinlog.000044
  27. -rw-r----- 1 mysql mysql 1073745214 5月   6 09:40 mybinlog.000045
  28. -rw-r----- 1 mysql mysql 1073742390 5月   6 10:21 mybinlog.000046
  29. -rw-r----- 1 mysql mysql 1073742053 5月   6 11:21 mybinlog.000047
  30. -rw-r----- 1 mysql mysql 1073742064 5月   6 14:21 mybinlog.000048
  31. -rw-r----- 1 mysql mysql 1073743303 5月   6 17:21 mybinlog.000049
  32. -rw-r----- 1 mysql mysql   22739595 5月   6 17:25 mybinlog.000050
  33. -rw-r----- 1 mysql mysql        528 5月   6 17:21 mybinlog.index
  34. drwxr-x--- 2 mysql mysql       4096 4月  19 17:10 mysql
  35. srwxrwxrwx 1 mysql mysql          0 4月  23 15:34 mysql.sock
  36. -rw------- 1 mysql mysql          7 4月  23 15:34 mysql.sock.lock
  37. ...
  38. drwxr-x--- 2 mysql mysql       8192 4月  19 17:10 performance_schema
  39. -rw------- 1 mysql mysql       1680 4月  19 17:10 private_key.pem
  40. -rw-r--r-- 1 mysql mysql        452 4月  19 17:10 public_key.pem
  41. ...  ## 如下 只剩下4个relay-log了 之前的都已自动清理完毕！！
  42. -rw-r----- 1 mysql mysql    5494669 5月   6 13:51 relay-log-bin.000160
  43. -rw-r----- 1 mysql mysql  334294304 5月   6 14:46 relay-log-bin.000161
  44. -rw-r----- 1 mysql mysql        291 5月   6 14:46 relay-log-bin.000162
  45. -rw-r----- 1 mysql mysql  961967353 5月   6 17:25 relay-log-bin.000163
  46. -rw-r----- 1 mysql mysql         85 5月   6 17:25 relay-log.info
复制代码
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

惊雷无声

论坛元老
这个人很懒什么都没写!

楼主热帖

标签云

AI 运维 CIO 存储 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表