wmproxy
wmproxy已用Rust实现http/https代理, socks5代理, 反向代理, 负载均衡, 静态文件服务器,websocket代理,四层TCP/UDP转发,内网穿透等,会将实现过程分享出来,感兴趣的可以一起造个轮子
项目地址
国内: https://gitee.com/tickbh/wmproxy
github: https://github.com/tickbh/wmproxy
设计目标
负载均衡时通过匹配规则匹配正确的location进行处理相关的操作。
设计方案变更
初始设计方案
初始方案以最快的方式进行支持,仅支持前缀匹配,即如果配置- [[http.server.location]]
- rule = "/wmproxy"
复制代码 那么当我们访问/wmproxy/xx时将会被分配到该location,此方案相对简单,但是当我们碰到复杂的需求时将无法被满足。
设计方案需求
除了前缀匹配外,我们将会有其它各种需求的匹配:
- 后缀匹配 比如以wmproxy结尾的path,如/api/update/wmproxy 需要匹配成 *wmproxy
- 中间匹配 比如常用的api中间转化成数据/api//get,那么匹配为 /api/*/get
- 正则匹配 当前的配置的为正则规则,需进行匹配
- 请求方法匹配 比如仅当请求方法为POST才进行转发
- 客户端IP 比如仅当客户端内网或者外网时区分请求
- Host地址 比如当前如果请求为ip则不进行转发,需要匹配host才进行转发
- 协议 比如某个网站不支持http当我们匹配到http时需强制转化成https
实际配置中当仅仅只有前缀匹配时已经显然无法满足我们的需求
设计方案迭代
当前我们就必须将数据进行更迭,但是在通常情况下我们又不想将配置变得复杂,此时就需要我们支持更多的类的自定义化,首先我们定义类:- /// location匹配,将根据该类的匹配信息进行是否匹配
- #[serde_as]
- #[derive(Debug, Clone, Serialize, Deserialize, PartialEq, Eq)]
- pub struct Matcher {
- path: Option<String>,
- #[serde_as(as = "Option<DisplayFromStr>")]
- client_ip: Option<IpSets>,
- #[serde_as(as = "Option<DisplayFromStr>")]
- remote_ip: Option<IpSets>,
- host: Option<String>,
- #[serde_as(as = "Option<DisplayFromStr>")]
- method: Option<MatchMethod>,
- #[serde_as(as = "Option<DisplayFromStr>")]
- scheme: Option<MatchScheme>,
- }
复制代码 此时我们将location中的rule的类型从String变成了Matcher,那么此时我们首先遇到的一个问题他可能为一个String值或者可能为一个Map值,我们先得对这种情况进行处理。
我们根据serde的提供的解析方案进行如下函数,当前我们重写了visit_str及visit_map表示我们将只支持这两种源格式转化成Matcher- pub fn string_or_struct<'de, T, D>(deserializer: D) -> Result<T, D::Error>
- where
- T: Deserialize<'de> + FromStr<Err = WebError>,
- D: Deserializer<'de>,
- {
- struct StringOrStruct<T>(PhantomData<fn() -> T>);
- impl<'de, T> Visitor<'de> for StringOrStruct<T>
- where
- T: Deserialize<'de> + FromStr<Err = WebError>,
- {
- type Value = T;
- fn expecting(&self, formatter: &mut fmt::Formatter) -> fmt::Result {
- formatter.write_str("string or map")
- }
- fn visit_str<E>(self, value: &str) -> Result<T, E>
- where
- E: de::Error,
- {
- Ok(FromStr::from_str(value).unwrap())
- }
- fn visit_map<M>(self, map: M) -> Result<T, M::Error>
- where
- M: MapAccess<'de>,
- {
- Deserialize::deserialize(de::value::MapAccessDeserializer::new(map))
- }
- }
- deserializer.deserialize_any(StringOrStruct(PhantomData))
- }
复制代码 此处我们用到了static变量,也就是将某部分数据进行了静态化处理,且此处我们将String转化成了&'static str可能存在一定的内存泄漏,大小值跟配置的数据有关,可以接受这空间换取时间。然后用正则的is_match进行匹配即可。- /// 负载均衡中的location匹配,将匹配合适的处理逻辑
- #[serde_as]
- #[derive(Debug, Clone, Serialize, Deserialize)]
- pub struct LocationConfig {
- #[serde(deserialize_with = "string_or_struct")]
- pub rule: Matcher,
- //...
- }
复制代码
- 带*的路径匹配 主要将路径中的*进行前进字符串的匹配。
在rust中的字符串切割主要由split或者strip_prefix或者strip_suffix来处理,相对其它语言中均存在的subString或者substr在rust中的则表示为引用,所以在rust中不存在substring函数
- /// may memory leak
- pub fn try_cache_regex(origin: &str) -> Option<Regex> {
- // 因为均是从配置中读取的数据, 在这里缓存正则表达示会在总量上受到配置的限制
- lazy_static! {
- static ref RE_CACHES: Mutex<HashMap<&'static str, Option<Regex>>> =
- Mutex::new(HashMap::new());
- };
- if origin.len() == 0 {
- return None;
- }
- if let Ok(mut guard) = RE_CACHES.lock() {
- if let Some(re) = guard.get(origin) {
- return re.clone();
- } else {
- if let Ok(re) = Regex::new(origin) {
- guard.insert(
- Box::leak(origin.to_string().into_boxed_str()),
- Some(re.clone()),
- );
- return Some(re);
- }
- }
- }
- return None;
- }
复制代码 以上各数据均引用src的资源,即在这过程中并没有创建内存对象。
那么匹配函数则先将'*'进行分割,数组的第一个则前缀匹配,最后一个则后缀匹配,若不存在'*'则数组数量为1,符合前缀匹配。- if let Some(re) = Helper::try_cache_regex(&p) {
- if !re.is_match(path) {
- return Ok(false);
- }
- }
复制代码 那么完整的匹配函数在Matcher- let src = "wmproxy is good";
- let first = &src[..7];
- let second = &src[3..8];
- let end = &src[8..];
- let vals = src.split(" ").collect::<Vec<&str>>();
复制代码 小结
匹配规则在对于复杂匹配的时候尤为重要,我们可以轻松的将各个请求分配到合适的位置,此处我们着重介绍了正则匹配及带*的路径匹配。
点击 [关注],[在看],[点赞] 是对作者最大的支持
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作! |