马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。
您需要 登录 才可以下载或查看,没有账号?立即注册
x
一、开篇导引
1.1 对比Python Requests解释为何reqwest是Rust生态的标杆HTTP客户端
在Python生态中,Requests 库以其简洁易用的API成为了HTTP客户端的首选。它使得开辟者能够轻松地发送各种HTTP请求,处理相应,而无需过多关注底层细节。然而,Python作为一种解释型语言,在性能和并发处理方面存在一定的局限性。
Rust的 reqwest 库则在性能、安全性和并发处理上展现出了强大的优势。reqwest 是基于Rust的异步运行时构建的,它充实使用了Rust的全部权系统和类型系统,能够高效地处理大量并发请求,同时保证内存安全。与Python的 Requests 相比,reqwest 在处理高并发场景时,性能提升显著。比方,在处理大量的API请求时,reqwest 能够在更短的时间内完成更多的请求,而且占用更少的系统资源。
1.2 适用场景分析:何时选择reqwest而非hyper/ureq等其他库
库名适用场景原因reqwest高并发的Web服务、API客户端、爬虫开辟提供了简洁的API,同时支持异步和同步模式,易于使用和扩展。hyper底层HTTP服务开辟、自界说HTTP协议实现是一个底层的HTTP库,提供了更细粒度的控制,但API相对复杂。ureq简朴的HTTP请求、脚本化的网络操作轻量级的HTTP库,API简朴,但功能相对较少。 适用场景:在需要处理大量并发请求的场景下,如Web服务的API调用、爬虫开辟等,reqwest 是更好的选择。而对于需要自界说HTTP协议或进行底层HTTP服务开辟的场景,hyper 更合适。假如只是进行简朴的HTTP请求,ureq 则可以满足需求。
二、焦点功能详解
2.1 基础篇
2.1.1 同步/异步双模式配置
reqwest 支持同步和异步两种模式,开辟者可以根据具体需求选择合适的模式。
- // 同步模式(blocking模式)
- use reqwest::blocking::get;
- fn main() -> Result<(), reqwest::Error> {
- let response = get("<https://httpbin.org/json>")?;
- println!("Status: {}", response.status());
- println!("Body: {}", response.text()?);
- Ok(())
- }
- // 异步模式
- use reqwest;
- #[tokio::main]
- async fn main() -> Result<(), reqwest::Error> {
- let response = reqwest::get("<https://httpbin.org/json>").await?;
- println!("Status: {}", response.status());
- println!("Body: {}", response.text().await?);
- Ok(())
- }
复制代码 操作原理说明:同步模式下,程序会阻塞直到请求完成,适合简朴的脚本或对并发要求不高的场景。异步模式下,请求会在后台实行,程序可以继续实行其他任务,适合高并发场景。
适用场景:脚本化的网络操作可以使用同步模式,而高并发的Web服务或爬虫开辟则应使用异步模式。
2.1.2 请求构建器模式(Builder Pattern)
请求构建器模式答应开辟者通过链式调用的方式构建复杂的请求。
- use reqwest;
- use std::time::Duration;
- #[tokio::main]
- async fn main() -> Result<(), reqwest::Error> {
- let client = reqwest::Client::new();
- let url = "<https://httpbin.org/post>";
- let response = client.post(url)
- .header("X-Custom-Header", "value")
- .timeout(Duration::from_secs(30))
- .basic_auth("user", Some("pass"))
- .send()
- .await?;
- println!("Status: {}", response.status());
- println!("Body: {}", response.text().await?);
- Ok(())
- }
复制代码 操作原理说明:reqwest::Client::new() 创建一个客户端实例,通过链式调用 post()、header()、timeout() 等方法可以设置请求的各种参数,最后调用 send() 方法发送请求。
适用场景:需要设置多个请求参数的场景,如发送带有自界说头部、认证信息和超时设置的请求。
2.2 进阶篇
2.2.1 连接池调优(keep-alive配置)
连接池可以复用已经建立的连接,减少连接建立和关闭的开销,进步性能。
- use reqwest;
- #[tokio::main]
- async fn main() -> Result<(), reqwest::Error> {
- let client = reqwest::Client::builder()
- .pool_idle_timeout(std::time::Duration::from_secs(30)) // ⚠️ 空闲连接的超时时间
- .pool_max_idle_per_host(5) // ⚠️ 每个主机的最大空闲连接数
- .build()?;
- let response = client.get("<https://httpbin.org/json>").await?;
- println!("Status: {}", response.status());
- println!("Body: {}", response.text().await?);
- Ok(())
- }
复制代码 操作原理说明:reqwest::Client::builder() 用于创建一个可配置的客户端实例,通过 pool_idle_timeout() 和 pool_max_idle_per_host() 方法可以设置连接池的参数。
适用场景:需要频繁发送请求的场景,如API客户端或爬虫开辟。
2.2.2 自动重试与超时策略
可以通过自界说重试逻辑和超时设置来处理请求失败的环境。
- use reqwest;
- use std::time::Duration;
- #[tokio::main]
- async fn main() -> Result<(), reqwest::Error> {
- let client = reqwest::Client::builder()
- .timeout(Duration::from_secs(5)) // ⚠️ 请求超时时间
- .build()?;
- let mut retry_count = 0;
- let max_retries = 3;
- loop {
- match client.get("<https://httpbin.org/json>").await {
- Ok(response) => {
- println!("Status: {}", response.status());
- println!("Body: {}", response.text().await?);
- break;
- }
- Err(err) => {
- if retry_count >= max_retries {
- return Err(err);
- }
- retry_count += 1;
- println!("Request failed, retrying ({}/{})...", retry_count, max_retries);
- }
- }
- }
- Ok(())
- }
复制代码 操作原理说明:通过 timeout() 方法设置请求超时时间,使用循环和计数器实现自动重试逻辑。
适用场景:网络不稳固的环境下,如移动网络或跨地域的请求。
2.2.3 多部分文件上传(multipart/form-data)
可以使用 reqwest 进行多部分文件上传。
- use reqwest;
- use std::fs::File;
- use std::io::BufReader;
- #[tokio::main]
- async fn main() -> Result<(), reqwest::Error> {
- let client = reqwest::Client::new();
- let file = File::open("example.txt")?;
- let reader = BufReader::new(file);
- let form = reqwest::multipart::Form::new()
- .text("field1", "value1")
- .part("file", reqwest::multipart::Part::reader(reader).file_name("example.txt"));
- let response = client.post("<https://httpbin.org/post>")
- .multipart(form)
- .send()
- .await?;
- println!("Status: {}", response.status());
- println!("Body: {}", response.text().await?);
- Ok(())
- }
复制代码 操作原理说明:使用 reqwest::multipart::Form::new() 创建一个表单实例,通过 text() 和 part() 方法添加表单字段和文件,最后使用 multipart() 方法将表单添加到请求中。
适用场景:需要上传文件的场景,如图片上传、文件备份等。
2.2.4 代理服务器与TOR网络集成
可以通过设置代理服务器来隐藏请求的真实来源,也可以集成TOR网络实现匿名请求。
- use reqwest;
- #[tokio::main]
- async fn main() -> Result<(), reqwest::Error> {
- let proxy = reqwest::Proxy::http("<http://proxy.example.com:8080>")?;
- let client = reqwest::Client::builder()
- .proxy(proxy)
- .build()?;
- let response = client.get("<https://httpbin.org/json>").await?;
- println!("Status: {}", response.status());
- println!("Body: {}", response.text().await?);
- Ok(())
- }
复制代码 操作原理说明:使用 reqwest: roxy::http() 创建一个代理实例,通过 proxy() 方法将代理添加到客户端中。
适用场景:需要隐藏请求来源或突破网络限定的场景,如爬虫开辟、网络测试等。
2.2.5 Cookie持久化实战
可以将Cookie存储到文件中,实现Cookie的持久化。
- use reqwest;
- use std::fs::File;
- use std::io::{Read, Write};
- use serde_json;
- #[tokio::main]
- async fn main() -> Result<(), reqwest::Error> {
- let client = reqwest::Client::new();
- let response = client.get("<https://httpbin.org/cookies/set?name=value>").await?;
- let cookies = response.cookies().cloned().collect::<Vec<_>>();
- let cookies_json = serde_json::to_string(&cookies)?;
- let mut file = File::create("cookies.json")?;
- file.write_all(cookies_json.as_bytes())?;
- println!("Cookies saved to cookies.json");
- Ok(())
- }
复制代码 操作原理说明:通过 response.cookies() 方法获取相应中的Cookie,使用 serde_json 将Cookie序列化为JSON字符串,最后将JSON字符串写入文件。
适用场景:需要保持会话状态的场景,如登录后的后续请求。
2.3 企业级特性
2.3.1 自界说TLS后端(rustls vs native-tls)
reqwest 支持使用 rustls 或 native-tls 作为TLS后端。
- use reqwest;
- use reqwest::ClientBuilder;
- use rustls::ClientConfig;
- use rustls::RootCertStore;
- use webpki_roots::TLS_SERVER_ROOTS;
- #[tokio::main]
- async fn main() -> Result<(), reqwest::Error> {
- let mut root_store = RootCertStore::empty();
- root_store.add_server_trust_anchors(TLS_SERVER_ROOTS.0.iter().map(|ta| {
- rustls::OwnedTrustAnchor::from_subject_spki_name_constraints(
- ta.subject,
- ta.spki,
- ta.name_constraints,
- )
- }));
- let tls_config = ClientConfig::builder()
- .with_safe_defaults()
- .with_root_certificates(root_store)
- .with_no_client_auth();
- let client = ClientBuilder::new()
- .use_rustls_tls()
- .tls_config(tls_config)
- .build()?;
- let response = client.get("<https://httpbin.org/json>").await?;
- println!("Status: {}", response.status());
- println!("Body: {}", response.text().await?);
- Ok(())
- }
复制代码 操作原理说明:通过 ClientBuilder::new() 创建一个可配置的客户端实例,使用 use_rustls_tls() 方法指定使用 rustls 作为TLS后端,通过 tls_config() 方法设置TLS配置。
适用场景:对TLS安全性有较高要求的场景,如金融生意业务、敏感数据传输等。
2.3.2 请求/相应拦截器(类似Axios的interceptor)
可以通过自界说中间件实现请求/相应拦截器。
- use reqwest;
- use reqwest::ClientBuilder;
- use reqwest_middleware::{ClientBuilder as MiddlewareClientBuilder, RequestBuilder, Result};
- use reqwest_tracing::TracingMiddleware;
- #[tokio::main]
- async fn main() -> Result<(), reqwest::Error> {
- let client = ClientBuilder::new()
- .build()?;
- let middleware_client = MiddlewareClientBuilder::new(client)
- .with(TracingMiddleware::default())
- .build();
- let request = middleware_client.get("<https://httpbin.org/json>");
- let response = request.send().await?;
- println!("Status: {}", response.status());
- println!("Body: {}", response.text().await?);
- Ok(())
- }
复制代码 操作原理说明:使用 reqwest_middleware 库创建一个带有中间件的客户端,通过 with() 方法添加中间件,中间件可以在请求发送前和相应返回后进行拦截和处理。
适用场景:需要对请求和相应进行统一处理的场景,如日志记录、错误处理等。
2.3.3 分布式追踪集成(OpenTelemetry)
可以将 reqwest 与 OpenTelemetry 集成,实现分布式追踪。
- use reqwest;
- use opentelemetry::global;
- use opentelemetry::sdk::trace as sdktrace;
- use opentelemetry::trace::Tracer;
- use reqwest_middleware::ClientBuilder;
- use reqwest_tracing::TracingMiddleware;
- #[tokio::main]
- async fn main() -> Result<(), reqwest::Error> {
- let tracer = init_tracer();
- let client = reqwest::Client::new();
- let middleware_client = ClientBuilder::new(client)
- .with(TracingMiddleware::default())
- .build();
- let span = tracer.start("http_request");
- let _guard = span.enter();
- let response = middleware_client.get("<https://httpbin.org/json>").send().await?;
- println!("Status: {}", response.status());
- println!("Body: {}", response.text().await?);
- span.end();
- global::shutdown_tracer_provider();
- Ok(())
- }
- fn init_tracer() -> impl Tracer {
- let tracer = sdktrace::TracerProvider::builder()
- .with_simple_exporter(sdktrace::stdout::new_exporter())
- .build();
- global::set_tracer_provider(tracer);
- global::tracer("reqwest_example")
- }
复制代码 操作原理说明:使用 opentelemetry 库创建一个追踪器,通过 reqwest_middleware 和 reqwest_tracing 库将追踪器集成到 reqwest 客户端中,在请求发送时记录追踪信息。
适用场景:分布式系统中,需要对请求进行追踪和性能分析的场景。
2.3.4 压力测试与性能调优指标
可以使用 wrk 等工具对 reqwest 应用进行压力测试,通过调解连接池大小、超时时间等参数进行性能调优。
配置参数吞吐量(请求/秒)相应时间(毫秒)默认配置100050连接池大小=100150040超时时间=10秒120060 适用场景:需要对应用的性能进行评估和优化的场景,如生产环境的性能调优。
三、实战项目演示
3.1 构建带有缓存层的REST API客户端
可以使用 reqwest 构建一个带有缓存层的REST API客户端,减少重复请求。
- use reqwest;
- use std::collections::HashMap;
- use std::time::Duration;
- #[tokio::main]
- async fn main() -> Result<(), reqwest::Error> {
- let mut cache: HashMap<String, String> = HashMap::new();
- let client = reqwest::Client::new();
- let url = "<https://httpbin.org/json>";
- if let Some(cached_response) = cache.get(url) {
- println!("Using cached response: {}", cached_response);
- } else {
- let response = client.get(url)
- .timeout(Duration::from_secs(5))
- .send()
- .await?;
- let body = response.text().await?;
- cache.insert(url.to_string(), body.clone());
- println!("New response: {}", body);
- }
- Ok(())
- }
复制代码 操作原理说明:使用 HashMap 作为缓存,在发送请求前先查抄缓存中是否存在该请求的相应,假如存在则直接使用缓存,否则发送请求并将相应存入缓存。
适用场景:需要频繁访问相同API的场景,如数据查询、配置获取等。
3.2 实现自动切换代理的爬虫框架
可以使用 reqwest 实现一个自动切换代理的爬虫框架,进步爬虫的稳固性。
- use reqwest;
- use std::time::Duration;
- use rand::seq::SliceRandom;
- #[tokio::main]
- async fn main() -> Result<(), reqwest::Error> {
- let proxies = vec![
- "<http://proxy1.example.com:8080>",
- "<http://proxy2.example.com:8080>",
- "<http://proxy3.example.com:8080>",
- ];
- let mut rng = rand::thread_rng();
- let client = reqwest::Client::builder()
- .timeout(Duration::from_secs(10))
- .build()?;
- let url = "<https://httpbin.org/json>";
- let mut retry_count = 0;
- let max_retries = 3;
- loop {
- let proxy = proxies.choose(&mut rng).unwrap();
- let proxy_obj = reqwest::Proxy::http(proxy)?;
- let proxy_client = client.clone().proxy(proxy_obj);
- match proxy_client.get(url).send().await {
- Ok(response) => {
- println!("Status: {}", response.status());
- println!("Body: {}", response.text().await?);
- break;
- }
- Err(err) => {
- if retry_count >= max_retries {
- return Err(err);
- }
- retry_count += 1;
- println!("Request failed with proxy {}, retrying ({}/{})...", proxy, retry_count, max_retries);
- }
- }
- }
- Ok(())
- }
复制代码 操作原理说明:起首界说一个代理列表,使用 rand 库随机选择一个代理。创建一个 reqwest 客户端,并通过 proxy() 方法设置代理。发送请求,假如请求失败则重试,最多重试 max_retries 次,每次重试时重新选择代理。
适用场景:Web 爬虫开辟,尤其是在需要突破网站反爬机制或应对网络限定的环境下,自动切换代理可以进步爬虫的稳固性和乐成率。
3.3 与 Serde 深度集成的类型安全 HTTP 交互
可以团结 reqwest 和 serde 实现类型安全的 HTTP 交互,将相应数据自动反序列化为 Rust 布局体。
- use reqwest;
- use serde::Deserialize;
- #[derive(Debug, Deserialize)]
- struct ExampleResponse {
- origin: String,
- headers: serde_json::Value,
- }
- #[tokio::main]
- async fn main() -> Result<(), reqwest::Error> {
- let client = reqwest::Client::new();
- let url = "<https://httpbin.org/json>";
- let response = client.get(url).send().await?;
- let data: ExampleResponse = response.json().await?;
- println!("Origin: {}", data.origin);
- println!("Headers: {:?}", data.headers);
- Ok(())
- }
复制代码 操作原理说明:界说一个 Rust 布局体 ExampleResponse,并使用 serde 的 Deserialize 特性进行标注。发送 HTTP 请求后,使用 response.json().await? 方法将相应数据自动反序列化为 ExampleResponse 布局体。
适用场景:与 API 进行交互时,需要将相应数据进行布局化处理的场景,如剖析 JSON 数据、处理 XML 数据等,类型安全的交互可以制止手动剖析数据时可能出现的错误。
四、调试本领
4.1 使用 reqwest - middleware 加强日志
reqwest - middleware 可以帮助我们记录请求和相应的详细信息,方便调试。
- use reqwest;
- use reqwest_middleware::{ClientBuilder, Result};
- use reqwest_tracing::TracingMiddleware;
- use tracing_subscriber::FmtSubscriber;
- #[tokio::main]
- async fn main() -> Result<(), reqwest::Error> {
- let subscriber = FmtSubscriber::builder()
- .with_max_level(tracing::Level::DEBUG)
- .finish();
- tracing::subscriber::set_global_default(subscriber).expect("setting default subscriber failed");
- let client = reqwest::Client::new();
- let middleware_client = ClientBuilder::new(client)
- .with(TracingMiddleware::default())
- .build();
- let response = middleware_client.get("<https://httpbin.org/json>").send().await?;
- println!("Status: {}", response.status());
- println!("Body: {}", response.text().await?);
- Ok(())
- }
复制代码 操作原理说明:使用 tracing_subscriber 配置日志级别为 DEBUG,通过 reqwest_middleware 和 reqwest_tracing 库将日志功能集成到 reqwest 客户端中。在请求发送和相应返回时,会记录详细的日志信息。
适用场景:开辟和调试阶段,需要详细了解请求和相应信息的场景。
4.2 通过 mitmproxy 抓包分析
mitmproxy 是一个强大的抓包工具,可以拦截和分析 HTTP 请求和相应。
- 启动 mitmproxy:在终端中运行 mitmproxy 命令。
- 配置 reqwest 客户端使用 mitmproxy 代理:
- use reqwest;
- #[tokio::main]
- async fn main() -> Result<(), reqwest::Error> {
- let proxy = reqwest::Proxy::http("<http://127.0.0.1:8080>")?;
- let client = reqwest::Client::builder()
- .proxy(proxy)
- .build()?;
- let response = client.get("<https://httpbin.org/json>").send().await?;
- println!("Status: {}", response.status());
- println!("Body: {}", response.text().await?);
- Ok(())
- }
复制代码 操作原理说明:启动 mitmproxy 后,它会在本地监听 8080 端口。配置 reqwest 客户端使用该代理,全部的请求和相应都会颠末 mitmproxy,可以在 mitmproxy 的界面中查看详细信息。
适用场景:需要分析请求和相应的具体内容,排查网络题目标场景。
4.3 常见错误代码速查表
错误代码寄义办理方法CE3023连接池耗尽增加连接池大小,查抄是否有大量未开释的连接E0433找不到类型或模块查抄依靠是否正确安装,模块路径是否正确E0308类型不匹配查抄变量类型,确保数据类型一致 适用场景:在开辟和调试过程中,碰到错误代码时可以快速查找原因和办理方法。
五、扩展阅读
5.1 与 tower 生态的集成路径
tower 是一个用于构建异步服务的模块化框架,reqwest 可以与 tower 生态集成,实现更复杂的中间件和服务组合。
- use reqwest;
- use tower::ServiceBuilder;
- use tower_http::trace::TraceLayer;
- #[tokio::main]
- async fn main() -> Result<(), reqwest::Error> {
- let client = reqwest::Client::builder()
- .build()?;
- let service = ServiceBuilder::new()
- .layer(TraceLayer::new_for_http())
- .service(client);
- let request = reqwest::Request::builder()
- .method(reqwest::Method::GET)
- .uri("<https://httpbin.org/json>")
- .body(None)
- .unwrap();
- let response = service.call(request).await?;
- println!("Status: {}", response.status());
- println!("Body: {}", response.text().await?);
- Ok(())
- }
复制代码 操作原理说明:使用 ServiceBuilder 构建一个服务,通过 layer() 方法添加 TraceLayer 中间件,将 reqwest 客户端作为服务的底层实现。
适用场景:需要构建复杂的异步服务,对请求进行更精致处理的场景。
5.2 基于 reqwest 构建 SDK 的计划模式
可以基于 reqwest 构建 SDK,常见的计划模式有工厂模式、单例模式等。
- use reqwest;
- pub struct MySdk {
- client: reqwest::Client,
- }
- impl MySdk {
- pub fn new() -> Self {
- let client = reqwest::Client::new();
- MySdk { client }
- }
- pub async fn get_data(&self, url: &str) -> Result<reqwest::Response, reqwest::Error> {
- self.client.get(url).send().await
- }
- }
- #[tokio::main]
- async fn main() -> Result<(), reqwest::Error> {
- let sdk = MySdk::new();
- let response = sdk.get_data("<https://httpbin.org/json>").await?;
- println!("Status: {}", response.status());
- println!("Body: {}", response.text().await?);
- Ok(())
- }
复制代码 操作原理说明:界说一个 MySdk 布局体,在 new() 方法中创建 reqwest 客户端。通过 get_data() 方法封装请求逻辑,提供统一的接口供外部调用。
适用场景:开辟面向第三方的 SDK,需要对 reqwest 进行封装和抽象的场景。
5.3 WASM 环境下的特殊限定
在 WebAssembly(WASM)环境下使用 reqwest 有一些特殊限定,如不支持同步请求,需要使用异步请求。
- use wasm_bindgen_futures::spawn_local;
- use reqwest;
- #[wasm_bindgen(start)]
- pub async fn main() -> Result<(), reqwest::Error> {
- let response = reqwest::get("<https://httpbin.org/json>").await?;
- let text = response.text().await?;
- console_log!("Response: {}", text);
- Ok(())
- }
复制代码 操作原理说明:在 WASM 环境下,使用 wasm_bindgen_futures::spawn_local 来实行异步任务,使用 reqwest::get() 方法发送异步请求。
适用场景:开辟基于 WebAssembly 的前端应用,需要进行网络请求的场景。
流程图和时序图
自动切换代理的爬虫框架流程图
带有缓存层的 REST API 客户端流程图
与 Serde 集成的类型安全 HTTP 交互时序图
Cargo.toml 依靠模板
- [dependencies]
- reqwest = { version = "0.11", features = ["json"] }
- tokio = { version = "1", features = ["full"] }
- serde = { version = "1.0", features = ["derive"] }
- serde_json = "1.0"
- rand = "0.8"
- tracing = "0.1"
- tracing-subscriber = "0.3"
- reqwest-middleware = "0.10"
- reqwest-tracing = "0.6"
- tower = "0.4"
- tower-http = "0.4"
- wasm-bindgen = "0.2"
- wasm-bindgen-futures = "0.4"
复制代码 各功能的 MSRV(最低支持 Rust 版本)
功能MSRV基础功能1.46.0异步模式1.46.0连接池调优1.46.0自动重试与超时策略1.46.0多部分文件上传1.46.0代理服务器与 TOR 网络集成1.46.0Cookie 持久化1.46.0自界说 TLS 后端1.46.0请求/相应拦截器1.46.0分布式追踪集成1.46.0与 Serde 集成1.46.0与 tower 生态集成1.46.0WASM 环境支持1.46.0 通过以上内容,你可以全面深入地掌握 reqwest 库的高级用法,无论是在开辟生产级的 HTTP 客户端,照旧构建复杂的网络应用,都能游刃有余。
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。 |