使用rancher rke快速安装k8s集群

河曲智叟  金牌会员 | 2023-12-14 17:00:11 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 821|帖子 821|积分 2463

概述

Rancher Kubernetes Engine（RKE）是一个用于部署、管理和运行Kubernetes集群的开源工具。旨在简化Kubernetes集群的部署和操作。
RKE具有以下特点和功能：
简化的部署过程
RKE提供了一个简单的命令行界面，使您可以轻松地部署一个完整的Kubernetes集群。您只需提供少量的配置信息，RKE将自动处理底层节点的配置和组网，并在节点上安装所需的Kubernetes组件。
可移植性和灵活性
RKE支持多种操作系统和云平台，包括Linux、Windows、AWS、Azure、GCP等。它可以在各种环境中运行，包括物理机、虚拟机和云实例。这使得您可以在不同的基础设施上轻松部署和迁移Kubernetes集群。
安全和可靠性
RKE提供强大的安全功能，可以配置TLS加密通信、RBAC访问控制和Pod安全策略等。它还支持节点故障检测和自动修复，确保集群的高可用性和稳定性。
可扩展性和高性能
RKE支持水平扩展，可以轻松地添加或删除节点，以满足不同负载和需求。它还提供了灵活的网络和存储选项，以适应各种应用场景，并提供高性能的容器调度和管理。
集成和扩展
RKE与Rancher管理平台紧密集成，可以通过Rancher提供的图形界面进行集群管理、监控和操作。此外，RKE还支持使用Helm进行应用程序的部署和管理，以及使用其他插件和工具进行功能扩展。
下面介绍如何使用rancher的rke如何快速实现生产级别k8s集群安装。
修改主机名称

vi /etc/hosts
  1. 172.18.1.55  master
  2. 172.18.1.58  worker01
  3. 172.18.1.59  worker02
  4. 172.18.1.60  worker03
复制代码
安装docker
  1. $ wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo
  2. $ yum -y install docker-ce-23.0.1 docker-ce-cli-23.0.1
复制代码

设置开启并启动docker
  1. $ systemctl enable docker && systemctl start  docker
复制代码
添加rancher用户

在每台节点创建rancher用户
  1. $ useradd rancher
  2. $ usermod -aG docker rancher
  3. $ echo 123|passwd --stdin rancher
复制代码

下载rke客户端

访问https://github.com/rancher/rke/releases/tag/v1.4.9 下载rke客户端

Linux 用户请运行以下命令：
  1. $ mv rke_linux-amd64 rke
复制代码
运行以下命令，将 RKE 安装包转为可执行文件
  1. $ mv rke /usr/local/bin/
  2. $ chmod +x rke
复制代码
生成ssh证书
  1. $ ssh-keygen
复制代码

复制证书到集群中所有集群
  1. $ ssh-copy-id rancher@master
  2. $ ssh-copy-id rancher@worker01
  3. $ ssh-copy-id rancher@worker02
  4. $ ssh-copy-id rancher@worker03
复制代码

验证ssh证书是否可用
  1. $ ssh rancher@worker01
复制代码

创建RKE安装配置文件

cluster.yml
这里注意cluster.yml的flannel_iface属性值是出口网卡名称
  1. nodes:
  2. - address: 172.18.1.55
  3.   port: "22"
  4.   role:
  5.   - etcd
  6.   - controlplane
  7.   user: rancher
  8.   docker_socket: /var/run/docker.sock
  9. - address: "172.18.1.58"
  10.   port: "22"
  11.   role:
  12.   - worker
  13.   user: rancher
  14.   docker_socket: /var/run/docker.sock
  15. - address: "172.18.1.59"
  16.   port: "22"
  17.   role:
  18.   - worker
  19.   user: rancher
  20.   docker_socket: /var/run/docker.sock
  21. - address: "172.18.1.60"
  22.   port: "22"
  23.   role:
  24.   - worker  
  25.   user: rancher
  26.   docker_socket: /var/run/docker.sock
  27. kubernetes_version: "v1.25.13-rancher1"    # 指定k8s的版本
  28. services:
  29.   kube-api:
  30.     service_cluster_ip_range: 10.43.0.0/16
  31.     service_node_port_range: "30000-32767"
  32.     pod_security_policy: false
  33.     always_pull_images: true
  34.     secrets_encryption_config:
  35.       enabled: true
  36.   kube-controller:
  37.     cluster_cidr: 10.42.0.0/16
  38.     service_cluster_ip_range: 10.43.0.0/16
  39.   kubelet:
  40.     cluster_domain: cluster.local
  41.     cluster_dns_server: 10.43.0.10
  42.     fail_swap_on: false
  43.     generate_serving_certificate: false
  44.   kubeproxy:
  45.     extra_args:
  46.       proxy-mode: ipvs
  47. network:
  48.   plugin: flannel
  49.   options:
  50.     flannel_iface: eth0
  51.     flannel_backend_type: vxlan
  52. ssh_key_path: ~/.ssh/id_rsa
  53. authorization:
  54.   mode: rbac
  55. ignore_docker_version: true
  56. ingress:
  57.   provider: nginx
  58.   network_mode: "hostNetwork"
  59. cluster_name: "rkecluster"
  60. system_images:
  61.   etcd: rancher/mirrored-coreos-etcd:v3.5.6
  62.   alpine: rancher/rke-tools:v0.1.90
  63.   nginx_proxy: rancher/rke-tools:v0.1.90
  64.   cert_downloader: rancher/rke-tools:v0.1.90
  65.   kubernetes_services_sidecar: rancher/rke-tools:v0.1.90
  66.   kubedns: rancher/mirrored-k8s-dns-kube-dns:1.22.20
  67.   dnsmasq: rancher/mirrored-k8s-dns-dnsmasq-nanny:1.22.20
  68.   kubedns_sidecar: rancher/mirrored-k8s-dns-sidecar:1.22.20
  69.   kubedns_autoscaler: rancher/mirrored-cluster-proportional-autoscaler:1.8.6
  70.   coredns: rancher/mirrored-coredns-coredns:1.9.4
  71.   coredns_autoscaler: rancher/mirrored-cluster-proportional-autoscaler:1.8.6
  72.   nodelocal: rancher/mirrored-k8s-dns-node-cache:1.22.20
  73.   kubernetes: rancher/hyperkube:v1.25.13-rancher1
  74.   flannel: rancher/mirrored-flannel-flannel:v0.21.4
  75.   flannel_cni: rancher/flannel-cni:v0.3.0-rancher8
  76.   calico_node: rancher/mirrored-calico-node:v3.25.0
  77.   calico_cni: rancher/calico-cni:v3.25.0-rancher1
  78.   calico_controllers: rancher/mirrored-calico-kube-controllers:v3.25.0
  79.   calico_ctl: rancher/mirrored-calico-ctl:v3.25.0
  80.   calico_flexvol: rancher/mirrored-calico-pod2daemon-flexvol:v3.25.0
  81.   canal_node: rancher/mirrored-calico-node:v3.25.0
  82.   canal_cni: rancher/calico-cni:v3.25.0-rancher1
  83.   canal_controllers: rancher/mirrored-calico-kube-controllers:v3.25.0
  84.   canal_flannel: rancher/mirrored-flannel-flannel:v0.21.4
  85.   canal_flexvol: rancher/mirrored-calico-pod2daemon-flexvol:v3.25.0
  86.   weave_node: weaveworks/weave-kube:2.8.1
  87.   weave_cni: weaveworks/weave-npc:2.8.1
  88.   pod_infra_container: rancher/mirrored-pause:3.7
  89.   ingress: rancher/nginx-ingress-controller:nginx-1.7.0-rancher1
  90.   ingress_backend: rancher/mirrored-nginx-ingress-controller-defaultbackend:1.5-rancher1
  91.   ingress_webhook: rancher/mirrored-ingress-nginx-kube-webhook-certgen:v20230312-helm-chart-4.5.2-28-g66a760794
  92.   metrics_server: rancher/mirrored-metrics-server:v0.6.3
  93.   windows_pod_infra_container: rancher/mirrored-pause:3.7
  94.   aci_cni_deploy_container: noiro/cnideploy:6.0.3.1.81c2369
  95.   aci_host_container: noiro/aci-containers-host:6.0.3.1.81c2369
  96.   aci_opflex_container: noiro/opflex:6.0.3.1.81c2369
  97.   aci_mcast_container: noiro/opflex:6.0.3.1.81c2369
  98.   aci_ovs_container: noiro/openvswitch:6.0.3.1.81c2369
  99.   aci_controller_container: noiro/aci-containers-controller:6.0.3.1.81c2369
  100.   aci_gbp_server_container: ""
  101.   aci_opflex_server_container: ""
复制代码
执行安装
  1. $ rke up
复制代码

kubetl安装

下载，如果服务器下载失败，通过本地下载上传到服务器
  1. $ curl -LO https://dl.k8s.io/release/v1.24.0/bin/linux/amd64/kubectl
复制代码
安装
  1. $ sudo install -o root -g root -m 0755 kubectl /usr/local/bin/kubectl
复制代码
验证
  1. $ kubectl version --client
复制代码

创建.kube文件夹
  1. $ mkdir ~/.kube
复制代码
拷贝配置文件
  1. $ mv kube_config_cluster.yml ~/.kube/config
复制代码
k8s验证

kubectl配置完成以后，执行以下命令进行验证，可以看到节点状态正常
  1. $ kubectl get nodes
复制代码
  1. $ kubectl get pods -n kube-system
复制代码

Helm 安装

在master机器安装helm
下载
  1. $ wget https://get.helm.sh/helm-v3.7.2-linux-amd64.tar.gz
复制代码
解压
  1. $ tar -zxvf helm-v3.7.2-linux-amd64.tar.gz
复制代码
拷贝
  1. $ sudo cp linux-amd64/helm /usr/local/bin
复制代码
验证
  1. $ helm version
复制代码

使用Helm安装rancher

添加 Helm Chart 仓库

  1. $ helm repo add rancher-stable https://rancher-mirror.rancher.cn/server-charts/stable
复制代码
签名证书

create_self-signed-cert.sh 自签脚本
  1. #!/bin/bash
  3. help ()
  4. {
  5.     echo  ' ================================================================ '
  6.     echo  ' --ssl-domain: 生成ssl证书需要的主域名，如不指定则默认为www.rancher.local，如果是ip访问服务，则可忽略；'
  7.     echo  ' --ssl-trusted-ip: 一般ssl证书只信任域名的访问请求，有时候需要使用ip去访问server，那么需要给ssl证书添加扩展IP，多个IP用逗号隔开；'
  8.     echo  ' --ssl-trusted-domain: 如果想多个域名访问，则添加扩展域名（SSL_TRUSTED_DOMAIN）,多个扩展域名用逗号隔开；'
  9.     echo  ' --ssl-size: ssl加密位数，默认2048；'
  10.     echo  ' --ssl-cn: 国家代码(2个字母的代号),默认CN;'
  11.     echo  ' --ca-cert-recreate: 是否重新创建 ca-cert，ca 证书默认有效期 10 年，创建的 ssl 证书有效期如果是一年需要续签，那么可以直接复用原来的 ca 证书，默认 false;'
  12.     echo  ' 使用示例:'
  13.     echo  ' ./create_self-signed-cert.sh --ssl-domain=www.test.com --ssl-trusted-domain=www.test2.com \ '
  14.     echo  ' --ssl-trusted-ip=1.1.1.1,2.2.2.2,3.3.3.3 --ssl-size=2048 --ssl-date=3650'
  15.     echo  ' ================================================================'
  16. }
  18. case "$1" in
  19.     -h|--help) help; exit;;
  20. esac
  22. if [[ $1 == '' ]];then
  23.     help;
  24.     exit;
  25. fi
  27. CMDOPTS="$*"
  28. for OPTS in $CMDOPTS;
  29. do
  30.     key=$(echo ${OPTS} | awk -F"=" '{print $1}' )
  31.     value=$(echo ${OPTS} | awk -F"=" '{print $2}' )
  32.     case "$key" in
  33.         --ssl-domain) SSL_DOMAIN=$value ;;
  34.         --ssl-trusted-ip) SSL_TRUSTED_IP=$value ;;
  35.         --ssl-trusted-domain) SSL_TRUSTED_DOMAIN=$value ;;
  36.         --ssl-size) SSL_SIZE=$value ;;
  37.         --ssl-date) SSL_DATE=$value ;;
  38.         --ca-date) CA_DATE=$value ;;
  39.         --ssl-cn) CN=$value ;;
  40.         --ca-cert-recreate) CA_CERT_RECREATE=$value ;;
  41.         --ca-key-recreate) CA_KEY_RECREATE=$value ;;
  42.     esac
  43. done
  45. # CA相关配置
  46. CA_KEY_RECREATE=${CA_KEY_RECREATE:-false}
  47. CA_CERT_RECREATE=${CA_CERT_RECREATE:-false}
  49. CA_DATE=${CA_DATE:-3650}
  50. CA_KEY=${CA_KEY:-cakey.pem}
  51. CA_CERT=${CA_CERT:-cacerts.pem}
  52. CA_DOMAIN=cattle-ca
  54. # ssl相关配置
  55. SSL_CONFIG=${SSL_CONFIG:-$PWD/openssl.cnf}
  56. SSL_DOMAIN=${SSL_DOMAIN:-'www.rancher.local'}
  57. SSL_DATE=${SSL_DATE:-3650}
  58. SSL_SIZE=${SSL_SIZE:-2048}
  60. ## 国家代码(2个字母的代号),默认CN;
  61. CN=${CN:-CN}
  63. SSL_KEY=$SSL_DOMAIN.key
  64. SSL_CSR=$SSL_DOMAIN.csr
  65. SSL_CERT=$SSL_DOMAIN.crt
  67. echo -e "\033[32m ---------------------------- \033[0m"
  68. echo -e "\033[32m       | 生成 SSL Cert |       \033[0m"
  69. echo -e "\033[32m ---------------------------- \033[0m"
  71. # 如果存在 ca-key， 并且需要重新创建 ca-key
  72. if [[ -e ./${CA_KEY} ]] && [[ ${CA_KEY_RECREATE} == 'true' ]]; then
  74.     # 先备份旧 ca-key，然后重新创建 ca-key
  75.     echo -e "\033[32m ====> 1. 发现已存在 CA 私钥，备份 "${CA_KEY}" 为 "${CA_KEY}"-bak，然后重新创建 \033[0m"
  76.     mv ${CA_KEY} "${CA_KEY}"-bak-$(date +"%Y%m%d%H%M")
  77.     openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
  79.     # 如果存在 ca-cert，因为 ca-key 重新创建，则需要重新创建 ca-cert。先备份然后重新创建 ca-cert
  80.     if [[ -e ./${CA_CERT} ]]; then
  81.         echo -e "\033[32m ====> 2. 发现已存在 CA 证书，先备份 "${CA_CERT}" 为 "${CA_CERT}"-bak，然后重新创建 \033[0m"
  82.         mv ${CA_CERT} "${CA_CERT}"-bak-$(date +"%Y%m%d%H%M")
  83.         openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
  84.     else
  85.         # 如果不存在 ca-cert，直接创建 ca-cert
  86.         echo -e "\033[32m ====> 2. 生成新的 CA 证书 ${CA_CERT} \033[0m"
  87.         openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
  88.     fi
  90. # 如果存在 ca-key，并且不需要重新创建 ca-key
  91. elif [[ -e ./${CA_KEY} ]] && [[ ${CA_KEY_RECREATE} == 'false' ]]; then
  93.     # 存在旧 ca-key，不需要重新创建，直接复用
  94.     echo -e "\033[32m ====> 1. 发现已存在 CA 私钥，直接复用 CA 私钥 "${CA_KEY}" \033[0m"
  96.     # 如果存在 ca-cert，并且需要重新创建 ca-cert。先备份然后重新创建
  97.     if [[ -e ./${CA_CERT} ]] && [[ ${CA_CERT_RECREATE} == 'true' ]]; then
  98.         echo -e "\033[32m ====> 2. 发现已存在 CA 证书，先备份 "${CA_CERT}" 为 "${CA_CERT}"-bak，然后重新创建 \033[0m"
  99.         mv ${CA_CERT} "${CA_CERT}"-bak-$(date +"%Y%m%d%H%M")
  100.         openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
  102.     # 如果存在 ca-cert，并且不需要重新创建 ca-cert，直接复用
  103.     elif [[ -e ./${CA_CERT} ]] && [[ ${CA_CERT_RECREATE} == 'false' ]]; then
  104.         echo -e "\033[32m ====> 2. 发现已存在 CA 证书，直接复用 CA 证书 "${CA_CERT}" \033[0m"
  105.     else
  106.         # 如果不存在 ca-cert ，直接创建 ca-cert
  107.         echo -e "\033[32m ====> 2. 生成新的 CA 证书 ${CA_CERT} \033[0m"
  108.         openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
  109.     fi
  111. # 如果不存在 ca-key
  112. else
  113.     # ca-key 不存在，直接生成
  114.     echo -e "\033[32m ====> 1. 生成新的 CA 私钥 ${CA_KEY} \033[0m"
  115.     openssl genrsa -out ${CA_KEY} ${SSL_SIZE}
  117.     # 如果存在旧的 ca-cert，先做备份，然后重新生成 ca-cert
  118.     if [[ -e ./${CA_CERT} ]]; then
  119.         echo -e "\033[32m ====> 2. 发现已存在 CA 证书，先备份 "${CA_CERT}" 为 "${CA_CERT}"-bak，然后重新创建 \033[0m"
  120.         mv ${CA_CERT} "${CA_CERT}"-bak-$(date +"%Y%m%d%H%M")
  121.         openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
  122.     else
  123.         # 不存在旧的 ca-cert，直接生成 ca-cert
  124.         echo -e "\033[32m ====> 2. 生成新的 CA 证书 ${CA_CERT} \033[0m"
  125.         openssl req -x509 -sha256 -new -nodes -key ${CA_KEY} -days ${CA_DATE} -out ${CA_CERT} -subj "/C=${CN}/CN=${CA_DOMAIN}"
  126.     fi
  128. fi
  130. echo -e "\033[32m ====> 3. 生成 Openssl 配置文件 ${SSL_CONFIG} \033[0m"
  131. cat > ${SSL_CONFIG} <<EOM
  132. [req]
  133. req_extensions = v3_req
  134. distinguished_name = req_distinguished_name
  135. [req_distinguished_name]
  136. [ v3_req ]
  137. basicConstraints = CA:FALSE
  138. keyUsage = nonRepudiation, digitalSignature, keyEncipherment
  139. extendedKeyUsage = clientAuth, serverAuth
  140. EOM
  142. if [[ -n ${SSL_TRUSTED_IP} || -n ${SSL_TRUSTED_DOMAIN} || -n ${SSL_DOMAIN} ]]; then
  143.     cat >> ${SSL_CONFIG} <<EOM
  144. subjectAltName = @alt_names
  145. [alt_names]
  146. EOM
  147.     IFS=","
  148.     dns=(${SSL_TRUSTED_DOMAIN})
  149.     dns+=(${SSL_DOMAIN})
  150.     for i in "${!dns[@]}"; do
  151.       echo DNS.$((i+1)) = ${dns[$i]} >> ${SSL_CONFIG}
  152.     done
  154.     if [[ -n ${SSL_TRUSTED_IP} ]]; then
  155.         ip=(${SSL_TRUSTED_IP})
  156.         for i in "${!ip[@]}"; do
  157.           echo IP.$((i+1)) = ${ip[$i]} >> ${SSL_CONFIG}
  158.         done
  159.     fi
  160. fi
  162. echo -e "\033[32m ====> 4. 生成服务 SSL KEY ${SSL_KEY} \033[0m"
  163. openssl genrsa -out ${SSL_KEY} ${SSL_SIZE}
  165. echo -e "\033[32m ====> 5. 生成服务 SSL CSR ${SSL_CSR} \033[0m"
  166. openssl req -sha256 -new -key ${SSL_KEY} -out ${SSL_CSR} -subj "/C=${CN}/CN=${SSL_DOMAIN}" -config ${SSL_CONFIG}
  168. echo -e "\033[32m ====> 6. 生成服务 SSL CERT ${SSL_CERT} \033[0m"
  169. openssl x509 -sha256 -req -in ${SSL_CSR} -CA ${CA_CERT} \
  170.     -CAkey ${CA_KEY} -CAcreateserial -out ${SSL_CERT} \
  171.     -days ${SSL_DATE} -extensions v3_req \
  172.     -extfile ${SSL_CONFIG}
  174. echo -e "\033[32m ====> 7. 证书制作完成 \033[0m"
  175. echo
  176. echo -e "\033[32m ====> 8. 以 YAML 格式输出结果 \033[0m"
  177. echo "----------------------------------------------------------"
  178. echo "ca_key: |"
  179. cat $CA_KEY | sed 's/^/  /'
  180. echo
  181. echo "ca_cert: |"
  182. cat $CA_CERT | sed 's/^/  /'
  183. echo
  184. echo "ssl_key: |"
  185. cat $SSL_KEY | sed 's/^/  /'
  186. echo
  187. echo "ssl_csr: |"
  188. cat $SSL_CSR | sed 's/^/  /'
  189. echo
  190. echo "ssl_cert: |"
  191. cat $SSL_CERT | sed 's/^/  /'
  192. echo
  194. echo -e "\033[32m ====> 9. 附加 CA 证书到 Cert 文件 \033[0m"
  195. cat ${CA_CERT} >> ${SSL_CERT}
  196. echo "ssl_cert: |"
  197. cat $SSL_CERT | sed 's/^/  /'
  198. echo
  200. echo -e "\033[32m ====> 10. 重命名服务证书 \033[0m"
  201. echo "cp ${SSL_DOMAIN}.key tls.key"
  202. cp ${SSL_DOMAIN}.key tls.key
  203. echo "cp ${SSL_DOMAIN}.crt tls.crt"
  204. cp ${SSL_DOMAIN}.crt tls.crt
复制代码
执行脚本生成签名证书
  1. $ ./create_self-signed-cert.sh --ssl-domain=test-rancher.com  --ssl-size=2048 --ssl-date=3650
复制代码

安装rancher
  1. $ kubectl create namespace cattle-system
  2. #创建secret tls-rancher-ingress
  3. $ kubectl -n cattle-system create secret tls tls-rancher-ingress --cert=./cert/tls.crt --key=./cert/tls.key
  4. # 创建secret tls-ca
  5. $ kubectl -n cattle-system create secret generic tls-ca --from-file=./cert/cacerts.pem
复制代码
  1. # 安装rancher
  2. $ helm install rancher rancher-stable/rancher \
  3.   --version=2.7.6 \
  4.   --namespace cattle-system \
  5.   --set hostname=test-rancher.com \
  6.   --set ingress.tls.source=secret \
  7.   --set privateCA=true
复制代码

安装完成以后执行查看ip，并进行绑定设置
  1. $ kubectl get ingress -n cattle-system
复制代码

rancher配置

在本地配置hosts或者用nginx做转发配置，这里用hosts解析配置
  1. $ 172.18.1.58  test.rancher.com
复制代码
访问rancher

如果按照上面执行的命令报错，那么执行生成一个新密码
  1. $ kubectl -n cattle-system exec $(kubectl -n cattle-system get pods -l app=rancher | grep '1/1' | head -1 | awk '{ print $1 }') -- reset-password
复制代码
登录成功更改密码

istio安装




安装完成会出现如下选项

在终端其他机器验证端口是否打通
  1. kubectl get svc -n istio-system
复制代码

由上图得知，80映射的端口为31380 ，443映射端口为31390， 那么在slb配置转发规则时，转发到以上端口即可，IP为k8s的worker的ip

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

河曲智叟

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

挺好的 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表