限定异步HTTP请求并发：简单、有效的20个并发下载控制策略 ...

 
概述：通过利用`SemaphoreSlim`，可以简单而有效地限定异步HTTP请求的并发量，确保在任何给定时间内不超过20个网页同时下载。`ParallelOptions`不实用于异步操纵，但可考虑利用`Parallel.ForEach`，只管在异步场景中谨慎利用。
对于并发异步 I/O 操纵的数量限定，可以利用SemaphoreSlim，但由于AsParallel 利用的是 PLINQ（Parallel LINQ），而 PLINQ 不太实用于异步操纵。因此，我们可以利用异步的 Task.WhenAll 和 SemaphoreSlim 来实现并发控制。同时，ParallelOptions 不实用于异步操纵，因为它主要用于同步的 Parallel 类库。
以下是一个利用 SemaphoreSlim 的示例，以确保在任何给定时间下载的网页不超过 20 个：

1. using System;
2. using System.Net.Http;
3. using System.Threading;
4. using System.Threading.Tasks;
6. class Program
7. {
8.     static async Task Main()
9.     {
10.         string[] urls = { "http://google.com", "http://yahoo.com", /*...*/ };
12.         // 设置最大并发数为20
13.         int maxConcurrency = 20;
14.         var semaphore = new SemaphoreSlim(maxConcurrency);
16.         var tasks = urls.Select(url => DownloadUrlAsync(url, semaphore));
18.         await Task.WhenAll(tasks);
19.     }
21.     static async Task DownloadUrlAsync(string url, SemaphoreSlim semaphore)
22.     {
23.         await semaphore.WaitAsync();
25.         try
26.         {
27.             var client = new HttpClient();
28.             var html = await client.GetStringAsync(url);
29.             // 处理获取的 HTML 数据
30.             Console.WriteLine($"Downloaded {url} successfully");
31.         }
32.         catch (Exception ex)
33.         {
34.             // 处理异常
35.             Console.WriteLine($"Error downloading {url}: {ex.Message}");
36.         }
37.         finally
38.         {
39.             semaphore.Release();
40.         }
41.     }
42. }

复制代码

在这个例子中，SemaphoreSlim 用于限定并发异步 I/O 操纵的数量。WaitAsync 方法用于获取信号，Release 方法用于开释信号。这确保了在任何给定时间内，同时运行的异步操纵数量不会超过 maxConcurrency 指定的最大并发数。
假如你想利用 ParallelOptions，你可以考虑利用 Parallel.ForEach，但要注意这仍然实用于同步操纵。以下是一个示例：

1. using System;
2. using System.Net.Http;
3. using System.Threading;
4. using System.Threading.Tasks;
6. class Program
7. {
8.     static async Task Main()
9.     {
10.         string[] urls = { "http://google.com", "http://yahoo.com", /*...*/ };
12.         // 设置最大并发数为20
13.         int maxConcurrency = 20;
15.         Parallel.ForEach(urls, new ParallelOptions { MaxDegreeOfParallelism = maxConcurrency }, async (url) =>
16.         {
17.             var client = new HttpClient();
18.             var html = await client.GetStringAsync(url);
19.             // 处理获取的 HTML 数据
20.             Console.WriteLine($"Downloaded {url} successfully");
21.         });
22.     }
23. }

复制代码

上述代码利用的 Parallel.ForEach 并不能直接处理异步委托，因此需要谨慎利用。在异步场景中，利用 SemaphoreSlim 进行手动并发控制大概是更可靠的选择。
 

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。