什么是超融合?

打印 上一主题 下一主题

主题 769|帖子 769|积分 2307








超融合(HCI)是一种集成了计算、存储和网络的技术架构,旨在将数据中心的硬件和软件资源整合在一起,提供高度集成、可扩展、易管理的解决方案。超融合架构通过将计算、存储和网络功能纳入同一套硬件平台和软件框架中,实现了整个数据中心的一体化管理和自动化运维。减少各种设备之间的互相依赖,实现高效的一体化管理。此外,HCI还具备高度集成、可扩展和易管理等特点,使其成为当前企业数据中心架构的首选方案。



下载链接:2022分布式存储市场调研报告分布式存储发展白皮书(2022)中国分布式数据库市场报告(摘要版)下一代超融合架构白皮书《62+份超融合技术及报告合集》《VMware国产化替代专题》
《超融合信创云基础设施方案合集》
1、超融合信创云基础设施解决方案介绍
2、信创云转:技术路线、厂商评估与实践
《超融合技术原理特性解析合集》
1、超融合技术原理与特性解析合集(一)虚拟化与存储
2、超融合技术原理与特性解析合集(二)管理与运维
《超融合架构从评估到落地用户常见问题合集》
超融合UIS场景化解决方案
ONEStor分布式软件定义存储H3C ONEStor3.0软件定义存储(进阶版)H3C ONEStor3.0软件定义存储(入门版)超融合数据中心网络白皮书如何定义超融合?

目前,不同厂商对超融合架构的定义存在一些差别,引用ActualTech Media发布的《The Fundamentals of Hyper-converged Infrastructure》一文中的定义如下:
•硬件上:超融合架构将大型企业IT系统中独立的计算、存储及网络硬件融合在一起,集中在一个个服务器节点中,融合了多种硬件设备。
•软件上:超融合架构中所有的系统资源通过一个统一共享的软件管理接口来管理并给上层应用分享。
除了上述定义,大众一般对超融合架构的主要认识为:一个统一的管理平台,将DAS(Directed Attached Storage,直接连接存储)变为资源池,并消灭了存储阵列存在的必要性。但这一定义的主要缺陷在于:超融合架构的主要目标是简化数据中心的管理,消除数据中心的分立管理问题,而消除存储阵列只是超融合架构其中一个较明显的特点。
•简单来说,超融合基础架构就是在业务节点上运行服务器虚拟化软件和存储虚拟化软件,将所有的计算节点通过网络聚合成一个统一的虚拟计算和虚拟存储资源池,以资源池的形式提供数据中心所需的IT基础设施。
•广义来说,除了计算和存储虚拟化之外,超融合基础架构还可以整合网络虚拟化、安全虚拟化以及上层业务应用服务。
当前业界普遍的共识是:软件定义的虚拟化计算和分布式存储是超融合基础架构的最小集。
图1 超融合基础架构的软硬件设计思路



如图1所示,超融合的每个节点上都部署了虚拟化软件与分布式存储软件,节点上的本地磁盘通过存储网络聚合成一个统一的分布式存储资源池,以虚拟抽象层的形式向上层虚拟机提供存储基础架构服务,超融合基础架构统一管理平台则提供物理资源与虚拟资源的集中配置与监控管理服务,实现IT基础架构的快速部署和精简运维。
为什么需要超融合?

超融合架构的出现是为了应对传统数据中心架构中的一些挑战和局限性。超融合架构和传统企业私有云架构在硬件上差异如图2所示。
图2 传统私有云基础架构和超融合私有云架构的差异



超融合架构的主要优点包括:
•简化管理:HCI通过整合管理和自动化运维,减少了分散设备之间的依赖关系,从而大大简化了IT基础设施的管理工作量。
•提高效率:HCI的一体化特性使得资源可以更加高效地被管理和分配,提高了整个IT系统的运行效率。
•增强可扩展性:HCI的模块化设计使得系统资源可以轻松扩展,只需添加更多的节点即可增加计算能力和存储容量。
•易于部署和维护:相比于传统的分立架构,HCI的集成化设计减少了部署和维护的复杂性,加快了IT项目的上线速度。
•降低成本:通过合并硬件和软件资源,HCI有助于降低企业的总体拥有成本(TCO)。
可以预见,随着数字化转型的深入推进,超融合架构将成为未来企业数据中心的核心架构。超融合架构的引入不仅可以提高企业IT部门的工作效率,还可以为企业的创新发展提供保障,为企业在竞争中占据优势提供技术支持。
超融合架构有哪些关键技术?

虚拟化技术

虚拟化技术是超融合架构的关键技术,它通过将物理资源抽象为虚拟资源,实现了资源的灵活分配和动态管理。虚拟化技术可以提供资源的弹性和灵活分配,实现资源池的自动扩展和收缩。同时,虚拟化技术还支持虚拟机的快速部署和迁移,提高了资源利用率和系统可用性。这些特性使得虚拟化技术成为超融合架构的基础,为企业提供了高效、灵活和可靠的IT基础设施。
图3 KVM虚拟化基本架构及原理



超融合架构通过虚拟化技术将服务器、存储和网络等物理资源抽象成虚拟资源。通过虚拟化层,可以将服务器硬件划分为多个虚拟机,并为每个虚拟机分配适当的计算和存储资源。管理员可以根据业务需求动态调整虚拟机的资源分配,实现资源的弹性和灵活分配。
虚拟化技术还可以提供资源的动态管理能力。超融合架构可以根据系统负载和资源需求,自动调整虚拟机的资源分配。例如,在高负载时,可以通过动态调整虚拟机的计算资源来满足需求;而在低负载时,可以将资源释放给其他虚拟机使用,实现资源的有效利用。这种动态管理能力不仅提高了资源利用率,还可以根据需要实现资源池的自动扩展和收缩。
借助虚拟化技术提供的虚拟机快速部署和迁移功能,超融合架构可以将虚拟机的配置和状态保存在虚拟机镜像中,并随时进行快速部署。管理员可以通过简单的操作,在几分钟内创建和配置一个新的虚拟机,无需进行复杂的物理资源调整。此外,虚拟化技术还可以支持虚拟机的迁移,将运行中的虚拟机从一台物理服务器迁移到另一台物理服务器上,实现资源的动态负载均衡和容错。
软件定义存储

软件定义存储(Software-Defined Storage,SDS)也称为分布式存储,它是超融合架构中的关键技术,通过虚拟化和集中管理存储资源,实现高性能、高容量的存储服务。软件定义存储使得超融合架构可以灵活配置和管理存储资源,提高系统的性能和效率。同时,软件定义存储还能够充分利用节点上的计算资源,提供更强大的数据处理和存储服务。
图4 分布式存储服务



软件定义存储的关键思想是将存储功能从单独的存储设备中解耦出来,使用软件层来提供存储服务。这样可以实现存储资源的抽象和集中管理,从而提高存储资源的灵活性和利用率。
在超融合架构中,每个节点都具备一定的存储容量。通过软件定义存储技术,这些节点上的存储资源可以被虚拟化为整体的存储集群,同时支持提供块存储、文件存储、对象存储等不同类型的存储服务。管理员可以通过统一的管理界面,对存储集群进行管理和配置,调整各类型存储的容量、性能和数据保护策略等。
软件定义存储还可以实现更高级的存储功能和服务,例如数据冗余、存储快照等。管理员可以根据实际需求,对存储资源进行配置和管理,以满足不同应用和业务的需求。同时,软件定义存储还支持自动化的数据管理和迁移,以实现数据的高可用性和数据的流动性。
图5 多副本-三副本



图6 纠删码-4+2纠删码



软件定义存储的另一个优势是可以充分利用节点上的计算资源来进行数据处理和存储操作。超融合架构中的每个节点都具备计算能力,可以通过软件定义存储来实现数据处理和存储服务的集成。这样可以减少网络传输和数据流动的需求,提高系统的性能和效率。
软件定义网络

软件定义网络(Software-Defined Networking,SDN)是超融合架构的关键技术之一,通过将网络的控制平面与数据平面分离,实现对数据中心网络的灵活管理和资源调度。SDN技术可以优化数据中心网络的性能和可靠性,提高应用程序的响应速度和负载均衡。同时,SDN还支持网络虚拟化和多租户环境,提供独立的虚拟网络环境和安全性。通过应用SDN技术,超融合架构能够更好地满足不同应用和用户的需求,提供更高效、可靠和安全的网络服务。
图7 超融合架构中的虚拟交换机

SDN的核心思想是将网络的控制平面与数据平面分离,将网络的控制逻辑集中在一个中央控制器中。通过这种方式,管理员可以通过集中的控制平台来管理整个网络,实现对网络设备的集中控制和管理。
在超融合架构中,SDN可以实现对数据中心网络的灵活配置和调度。管理员可以通过SDN控制平台,根据应用需求和工作负载的变化,动态调整网络拓扑、路由策略以及各类网络和安全服务。这样可以优化数据中心网络的性能和可靠性,提高应用程序的响应速度和负载均衡。
另外,SDN还可以实现网络资源的动态分配和调度。通过SDN控制平台,管理员可以根据实际需求,将网络资源(如带宽、延迟等)动态地分配给不同的应用和工作负载。这样可以实现网络资源的智能管理和优化,提高网络的利用率和性能。
此外,SDN还支持网络虚拟化功能,将物理网络资源虚拟化为逻辑网络资源。这样可以实现多租户的网络隔离和安全性,为不同的用户和应用提供独立的虚拟网络环境。
图8 超融合平台中的网络与安全服务



统一管理等云计算相关技术

超融合架构在软件方面将所有的系统资源通过一个统一共享的软件管理接口来管理并给上层应用分享。统一管理面向上层的应用和用户,保证IT管理人员能够通过软件简单便捷控制整个超融合集群。统一管理提供身份认证、网络和地址管理,负载均衡等一系列私有云必需的管理工具和模块。
图9 资源统一管理



超融合技术的软件管理接口不仅能够统一管理系统资源,还能有效整合虚拟化、存储、网络和其他功能,提供高度自动化和自愈能力。通过这一统一管理接口,IT管理人员可以在上层应用和用户中实现身份认证、网络和地址管理、负载均衡等一系列私有云必需的管理工具和模块,从而实现整个超融合集群的简单便捷控制。
此外,超融合技术在软件方面的特点还体现在其对资源的动态分配和自适应优化上。通过软件管理接口,可以根据实际需求动态分配各类资源,实现资源利用的最大化和负载均衡的优化。而且,超融合软件还具备自我监测和自我修复的能力,当系统出现故障或异常时,软件能够自动识别问题并采取相应的措施,从而实现系统的自愈和高可靠性运行。
Scale-Out升级和扩展模式

超融合相比于传统的企业IT架构,超融合架构的升级和扩展方式由Scale-Up更改为Scale-Out。这种方式具有时间短、对业务影响小的特点。传统的企业IT架构中,通常采用Scale-Up的方式,需要调整各部分资源来满足业务需求,然而这一方式具有一定的局限性,比如难以在短时间内完成硬件升级,而且对业务的影响较大。
相较而言,超融合架构采用Scale-Out的升级方式,通过增加节点实现对系统性能和存储容量的扩展,这使得升级时间大为缩短,且对业务的影响相对较小。这种升级方式能够更好地适应企业业务的快速变化,并且更便于实现系统的横向扩展,提高了系统的灵活性和可扩展性。因此,超融合架构的采用不仅能够降低成本,提高资源利用率,还能够更好地适应企业的发展需求。
图10 Scale-Up与Scale-Out的区别



并且,超融合技术以软件为核心,能够在不需要超配、购买传统存储专用硬件的情况下,实现对旧硬件的兼容,大幅降低IT系统成本,总体成本可以下降超过60%。
超融合架构有哪些优势?

高度集成

高度集成是超融合架构的一个重要优势。通过融合计算和存储等资源实现高效的存储性能和资源利用率,超融合架构为企业提供了高度集成、高性能、易管理的解决方案。这种集成的架构可以提供更高的资源利用率、更低的成本和更简化的管理,为企业的数据中心带来极大的优势。
传统的数据中心架构中,计算和存储通常分别部署在不同的设备和管理平台中。这种分离的部署模式导致了额外的成本和复杂性,增加了数据中心的管理和维护工作量。而超融合架构通过将计算和存储融合在同一套设备中,消除了这种问题。计算和存储根据需求动态分配,并通过高速内部网络进行通信,从而提供了更高的性能和更低的延迟。
图11 资源高度集成



在超融合架构中,存储资源由软件定义存储技术来管理。软件定义存储将存储功能从专用硬件中抽象出来,以软件的形式提供。这样,管理员统一管理、配置存储资源,无需依赖特定的硬件设备和专用的存储软件。软件定义存储提供了诸多功能,如数据去重、快照、数据副本、纠删码等,以满足不同应用的需求。
超融合架构的软件定义存储技术还可以实现高效的资源利用率。在传统的数据中心架构中,存储资源通常是独立的,无法有效地共享和利用。而在超融合架构中,会对存储资源进行统一管理。数据中心内的所有节点都可以使用和共享存储资源,从而提高了存储资源的利用率,同时也降低了存储成本。
可扩展性

在传统的数据中心架构中,当企业需要增加计算和存储资源时,通常需要进行复杂的配置和调整。例如,需要购买和部署新的专用服务器、扩展存储设备等。这不仅涉及到大量的物理操作和配置工作,还需要花费较长的时间,导致业务的延迟和停顿。
而超融合架构通过添加新的节点来实现按需扩展。每个节点都是一个独立的计算和存储单元,可以根据需求将其灵活地添加到系统中。通过节点间的高速内部网络连接,这些节点可以协同工作,共享计算和存储资源。这种扩展性使得超融合架构可以根据实际需求迅速、灵活地扩展数据中心,快速响应业务的需求。在UIS超融合管理平台中,还可以单独扩容计算或者存储资源,进一步加强了整个系统资源调配的灵活性。
图12 灵活的资源扩展



超融合架构的扩展性还具有弹性和可伸缩性。当企业面临业务高峰期或需要应对数据增长等情况时,可以通过添加新的节点来增加计算或存储能力,以满足业务需求。而在业务不再需要时,可以根据情况缩减节点数量,从而避免资源的浪费。这种弹性和可伸缩性使得超融合架构可以根据实际需求灵活调整和管理资源,提高资源利用率和性能。
此外,超融合架构的节点添加和配置过程也非常简单。管理员只需将新的超融合节点连接到现有系统,并通过统一的管理界面进行配置和管理即可。极大简化了节点扩展的工作量和复杂性,减少了资源扩容的部署时间,提高了数据中心的敏捷性和效率。
综上所述,超融合架构的可扩展性是其一个重要优势。通过按需添加新的节点来扩展计算和存储资源,超融合架构可以快速、灵活地满足企业的需求。这种扩展性具有弹性和可伸缩性,可以提高资源利用率和性能,同时还能简化节点的部署和配置工作,提高数据中心的敏捷性和效率。
高可用性和容错性

超融合架构利用分布式存储和冗余机制,实现数据的高可用性和容错性,从而确保数据的安全性和持久性。
超融合架构采用分布式存储技术,将数据分散存储在集群中的多个节点或设备上。这种分布式存储方式可以提高数据的冗余性,降低数据丢失的风险。即使某个节点或设备发生故障,系统仍然可以从其他正常的节点或设备中读取数据,保证数据的连续性和可用性。同时,分布式存储还可以提高数据的访问速度,通过并行读取和写入,提升系统的性能。
图13 高可用能力



超融合架构采用冗余机制,复制数据并存储在多个节点或设备中。当某个节点或设备发生故障时,系统可以自动切换到其他正常的节点或设备上的数据,保证数据的可用性和完整性。冗余机制可以根据需求进行配置,包括副本的数量和副本的存储位置。这种冗余机制可以提高数据的容错性,减少系统故障对数据的影响,确保数据的安全和持久性。
超融合架构还常用的高可用性技术,例如故障切换(failover)和故障恢复(failback)。在节点或设备发生故障时,系统可以自动切换到备用的节点或设备上,确保服务的连续性和可用性。一旦故障节点或设备恢复正常,系统又可以自动切换回原来的节点或设备上,保持数据的统一性和完整性。这种高可用性技术可以避免系统中断和数据丢失,保证业务的持续运行。
图14 超融合管理平台双机热备

超融合架构有哪些应用场景?

小型和中型企业数据中心

对于中小型企业来说,超融合架构是一个理想的选择。它能够低成本的集成计算、存储、网络和虚拟化等关键组件,提供了适合中小型企业的高度集成的解决方案和简化的管理。降低了拥有成本和运维复杂性,帮助企业更高效地部署和管理数据中心,提高运营效率,适应快速变化的业务需求。
中小型企业的资源和预算通常有限,因此需要一种高度集成的解决方案,能够同时满足数据中心的计算、存储等需求。超融合架构通过将这些关键组件集成在一起,提供了一站式的解决方案,简化了部署和管理的复杂性。企业只需通过一个统一的管理界面来管理和监控整个数据中心,无需分别管理各个组件,从而节省了时间和人力成本。
图15 适用于中小型企业数据中心的两节点架构



超融合架构能够显著降低企业数据中心的总体成本。相较于传统的分离式架构,超融合架构通过整合硬件设备和软件功能,减少了硬件设备的数量和维护成本,甚至部分高度集成的超融合一体机可以做到一箱即云。同时,由于超融合架构将计算、存储和网络等资源共享和集中管理,提高了资源的利用率,进一步降低了成本。
超融合架构还提供了简化的管理界面和操作流程,帮助企业快速部署和管理数据中心。由于超融合架构的高度集成性和自动化特性,企业无需具备高级的技术能力,即可有效地管理和维护数据中心。这对于中小型企业来说尤为重要,因为它们通常没有足够的人力资源和专业知识来全面管理复杂的数据中心。
多分支机构和远程办公

对于分支机构和远程办公场景来说,超融合架构是一种理想的解决方案。传统的分支机构部署方式需要独立的服务器、存储和网络设备,这不仅增加了部署和维护的复杂性,还增加了成本。而超融合架构将计算、存储和网络等功能进行集成,通过一个统一的管理平台进行管理和监控。可以大大简化分支机构和远程办公场景的部署和运维工作,降低成本和管理复杂性。
图16 多站点架构



多分支机构和远程办公超融合架构可以通过集中管理,将分支机构的计算、存储和网络等资源集中管理起来。管理员可以通过一个统一的私有云平台来管理和监控所有分支机构的资源。他们可以根据业务需求和资源的可用性,实时调整分支机构的资源分配,从而优化资源利用率和性能。
多分支机构和远程办公超融合架构通过自动化运维,提供了高效而灵活的资源调配和运维能力。管理员可以通过定义和配置相应的策略和规则,实现自动化的资源调度和管理。例如,当某个分支机构的资源利用率较低时,系统可以自动将未使用的资源分配给其他需要的分支机构,以平衡整个系统的负载。这种自动化的资源调度和管理能力,不仅提高了资源利用率,还减少了管理员的工作量和运维成本。
多分支机构和远程办公超融合架构还提供了安全和可靠的网络连接和数据保护机制。通过虚拟专用网络(VPN)和安全隧道等技术,分支机构可以安全地访问和共享中央数据中心的资源。同时,超融合架构还可以提供数据备份和灾难恢复的功能,保护分支机构的数据安全。
总体而言,多分支机构和远程办公超融合架构通过集中管理和自动化运维,实现了多个分支机构的统一管理和资源调配。它提供了高效的资源利用和灵活的运维能力,帮助企业提高协作效率和业务响应能力。同时,它还提供了安全和可靠的网络连接和数据保护机制,确保分支机构的数据安全和可用性。
基于容器的云原生应用

超融合架构可以支持容器化应用的部署和管理,提供灵活的容器资源调度和运维能力。
基于容器的云原生应用超融合架构通过将容器资源的调度和管理集成到超融合架构中,提供了支持容器化应用的部署和管理能力。这种架构可以实现灵活的容器资源调度和运维,提高资源利用率和性能。同时,它还提供了丰富的容器功能和服务,帮助组织更好地构建和管理云原生应用。
图17 基于超融合的云原生架构



在传统的超融合架构中,虚拟机是主要的部署单位,但在基于容器的云原生应用中,容器成为了部署的基本单元。基于容器的云原生应用超融合架构通过集成容器管理平台,如Kubernetes,将容器资源的部署、调度和管理集成到超融合架构的管理平台中。
这种架构使得管理员可以通过一个统一的控制平台来管理和监控所有的容器资源。管理员可以根据应用的需求和资源的可用性,动态地调整容器资源的分配和调度,提高资源利用率和性能。这也为容器化应用提供了更好的弹性和扩展性,能够更好地应对快速变化的业务需求。
除了资源调度和管理的能力,基于容器的云原生应用超融合架构还提供了丰富的容器功能和服务。例如,集成的容器镜像仓库和CI/CD工具可以支持容器镜像的构建、存储和持续交付;容器网络功能可以提供容器之间和容器与外部网络的通信;容器存储功能可以提供持久化存储和数据管理等。
备份和灾备环境

超融合架构提供了高度可靠的备份和灾备功能,适用于数据保护和灾备场景。通过超融合架构,管理员可以快速设置和管理备份策略,对关键数据进行定期备份。此外,超融合架构还提供了灵活的数据恢复选项,可以快速恢复数据到先前的状态。这种备份和灾备功能可以帮助组织最大限度地保护数据安全,减小业务中断的影响。
超融合架构可通过自身集成的资源,实现高效的数据备份。管理员可以通过简单的配置,设置定期的备份计划,将关键数据复制到备份存储设备中。这些备份数据可以通过增量备份或全量备份的方式来进行,以减少备份数据量和节省存储空间。此外,通过利用超融合架构的高速存储和网络性能,备份操作可以以较快的速度完成,减少对业务系统的影响,可以在超融合平台内进行备份,也可以使用专用的备份工具进行备份。
图18 D2D2C混合云备份



超融合架构同时也提供了灵活的数据恢复能力,以应对各种数据丢失或系统故障的情况。管理员可以利用全方位的备份容灾功能,轻松地选择恢复目标和时间点,进行数据恢复操作。超融合架构支持多种数据恢复选项,包括整个虚拟机的还原、文件级别的恢复以及相关应用和数据库的恢复。这些选项提供了灵活性和粒度控制,满足不同场景下的需求,并最大程度地减少对业务的影响。
图19 存储复制容灾



备份和灾备超融合架构还支持数据的跨地域复制和灾难恢复。企业可以将备份数据复制到远程的备份设备中,以实现跨地域的冗余和异地灾备。当主数据中心发生故障或不可用时,可以快速切换到备份数据中心,保障业务的连续性和可用性。超融合架构的集成性和自动化能力,免去了存储侧的复杂配置,可以大大简化备份和灾备的管理和操作复杂性,提高数据保护和灾备的可靠性和效率。


下载链接:中间件技术基础面向服务的架构(SOA)技术架构与中间件技术:SOA、Restful与Web Service推荐系统概述:任务、特征与方法计算机软件开发模式、工具与标准发展历程微服务技术:概念、架构与实现2024环境物联网市场研究报告一云多芯、分层解耦、生态共建:商业银行敏捷创新全技术栈存算一体:算力网络创新发展中国操作系统技术产业发展报告(2023年)确定性算力网络白皮书
云计算中的网络基础知识
智能化宽带网络网关(iBNG)技术白皮书
中国交换机行业短报告
交换机:算力基座迎来新机遇(2023)
工业交换机专题:连接工业设备,赋能新型工业(2024)《飞腾FT-2000_64 KVM虚拟化合集》《5000+份全栈云技术及行业知识汇总》
传统数据中心技术汇总1、超融合数据中心网络.pdf 2、模块化数据中心架构的规格.pdf 3、构建新一代数据中心.pdf 4、数据中心设计概览.pdf 5、数据中心解决方案.pdf 6、数据中心白皮书.pdf 7、数据中心概述.pdf网络存储技术浅论SDS(软件定义存储)市场分析及展望数字政府全光网络研究报告(2022)SAN与NAS的区别
本号资料全部上传至知识星球,更多内容请登录全栈云技术知识星球下载全部资料。
‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧  END  ‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧‧


免责申明:本号聚焦相关技术分享,内容观点不代表本号立场,可追溯内容均注明来源,发布文章若存在版权等问题,请留言删除,谢谢。




温馨提示:搜索关注“全栈云技术架构”微信公众号,“扫码”或点击“阅读原文”进入知识星球获取10000+份技术资料。






免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

干翻全岛蛙蛙

金牌会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表