ToB企服应用市场:ToB评测及商务社交产业平台

标题: 47从零开始用Rust编写nginx，配对还有这么多要求！负载均衡中的路径匹配 [打印本页]

作者: 王海鱼 时间: 2024-4-18 01:45
标题: 47从零开始用Rust编写nginx，配对还有这么多要求！负载均衡中的路径匹配
wmproxy

wmproxy已用Rust实现http/https代理, socks5代理, 反向代理, 负载均衡, 静态文件服务器，websocket代理，四层TCP/UDP转发，内网穿透等，会将实现过程分享出来，感兴趣的可以一起造个轮子
项目地址

国内: https://gitee.com/tickbh/wmproxy
github: https://github.com/tickbh/wmproxy
设计目标

负载均衡时通过匹配规则匹配正确的location进行处理相关的操作。
设计方案变更

初始设计方案

初始方案以最快的方式进行支持，仅支持前缀匹配，即如果配置

[[http.server.location]]
rule = "/wmproxy"

复制代码

那么当我们访问/wmproxy/xx时将会被分配到该location，此方案相对简单，但是当我们碰到复杂的需求时将无法被满足。
设计方案需求

除了前缀匹配外，我们将会有其它各种需求的匹配：

后缀匹配 比如以wmproxy结尾的path，如/api/update/wmproxy 需要匹配成 *wmproxy
中间匹配 比如常用的api中间转化成数据/api//get，那么匹配为 /api/*/get
正则匹配 当前的配置的为正则规则，需进行匹配
请求方法匹配 比如仅当请求方法为POST才进行转发
客户端IP 比如仅当客户端内网或者外网时区分请求
Host地址 比如当前如果请求为ip则不进行转发，需要匹配host才进行转发
协议比如某个网站不支持http当我们匹配到http时需强制转化成https
实际配置中当仅仅只有前缀匹配时已经显然无法满足我们的需求

设计方案迭代

当前我们就必须将数据进行更迭，但是在通常情况下我们又不想将配置变得复杂，此时就需要我们支持更多的类的自定义化，首先我们定义类：

/// location匹配，将根据该类的匹配信息进行是否匹配
#[serde_as]
#[derive(Debug, Clone, Serialize, Deserialize, PartialEq, Eq)]
pub struct Matcher {
path: Option<String>,
#[serde_as(as = "Option<DisplayFromStr>")]
client_ip: Option<IpSets>,
#[serde_as(as = "Option<DisplayFromStr>")]
remote_ip: Option<IpSets>,
host: Option<String>,
#[serde_as(as = "Option<DisplayFromStr>")]
method: Option<MatchMethod>,
#[serde_as(as = "Option<DisplayFromStr>")]
scheme: Option<MatchScheme>,
}

复制代码

此时我们将location中的rule的类型从String变成了Matcher，那么此时我们首先遇到的一个问题他可能为一个String值或者可能为一个Map值，我们先得对这种情况进行处理。
我们根据serde的提供的解析方案进行如下函数，当前我们重写了visit_str及visit_map表示我们将只支持这两种源格式转化成Matcher

pub fn string_or_struct<'de, T, D>(deserializer: D) -> Result<T, D::Error>
where
T: Deserialize<'de> + FromStr<Err = WebError>,
D: Deserializer<'de>,
{
struct StringOrStruct<T>(PhantomData<fn() -> T>);
impl<'de, T> Visitor<'de> for StringOrStruct<T>
where
T: Deserialize<'de> + FromStr<Err = WebError>,
{
type Value = T;
fn expecting(&self, formatter: &mut fmt::Formatter) -> fmt::Result {
formatter.write_str("string or map")
}
fn visit_str<E>(self, value: &str) -> Result<T, E>
where
E: de::Error,
{
Ok(FromStr::from_str(value).unwrap())
}
fn visit_map<M>(self, map: M) -> Result<T, M::Error>
where
M: MapAccess<'de>,
{
Deserialize::deserialize(de::value::MapAccessDeserializer::new(map))
}
}
deserializer.deserialize_any(StringOrStruct(PhantomData))
}

复制代码

此处我们用到了static变量，也就是将某部分数据进行了静态化处理，且此处我们将String转化成了&'static str可能存在一定的内存泄漏，大小值跟配置的数据有关，可以接受这空间换取时间。然后用正则的is_match进行匹配即可。

/// 负载均衡中的location匹配，将匹配合适的处理逻辑
#[serde_as]
#[derive(Debug, Clone, Serialize, Deserialize)]
pub struct LocationConfig {
#[serde(deserialize_with = "string_or_struct")]
pub rule: Matcher,
//...
}

复制代码

带*的路径匹配 主要将路径中的*进行前进字符串的匹配。
在rust中的字符串切割主要由split或者strip_prefix或者strip_suffix来处理，相对其它语言中均存在的subString或者substr在rust中的则表示为引用，所以在rust中不存在substring函数

/// may memory leak
pub fn try_cache_regex(origin: &str) -> Option<Regex> {
// 因为均是从配置中读取的数据, 在这里缓存正则表达示会在总量上受到配置的限制
lazy_static! {
static ref RE_CACHES: Mutex<HashMap<&'static str, Option<Regex>>> =
Mutex::new(HashMap::new());
};
if origin.len() == 0 {
return None;
}
if let Ok(mut guard) = RE_CACHES.lock() {
if let Some(re) = guard.get(origin) {
return re.clone();
} else {
if let Ok(re) = Regex::new(origin) {
guard.insert(
Box::leak(origin.to_string().into_boxed_str()),
Some(re.clone()),
);
return Some(re);
}
}
}
return None;
}

复制代码

以上各数据均引用src的资源，即在这过程中并没有创建内存对象。
那么匹配函数则先将'*'进行分割，数组的第一个则前缀匹配，最后一个则后缀匹配，若不存在'*'则数组数量为1，符合前缀匹配。

if let Some(re) = Helper::try_cache_regex(&p) {
if !re.is_match(path) {
return Ok(false);
}
}

复制代码

那么完整的匹配函数在Matcher

let src = "wmproxy is good";
let first = &src[..7];
let second = &src[3..8];
let end = &src[8..];
let vals = src.split(" ").collect::<Vec<&str>>();

复制代码

小结

匹配规则在对于复杂匹配的时候尤为重要，我们可以轻松的将各个请求分配到合适的位置，此处我们着重介绍了正则匹配及带*的路径匹配。
点击 [关注]，[在看]，[点赞] 是对作者最大的支持

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)