文盘Rust -- Mutex解决并发写文件乱序问题

在实际开发过程中，我们可能会遇到并发写文件的场景，如果处理不当很可能出现文件内容乱序问题。下面我们通过一个示例程序描述这一过程并给出解决该问题的方法。

1. use std::{
2.     fs::{self, File, OpenOptions},
3.     io::{Write},
4.     sync::Arc,
5.     time::{SystemTime, UNIX_EPOCH},
6. };
7. use tokio::task::JoinSet;
9. fn main() {
10.     println!("parallel write file!");
11.     let max_tasks = 200;
12.     let _ = fs::remove_file("/tmp/parallel");
13.     let file_ref = OpenOptions::new()
14.         .create(true)
15.         .write(true)
16.         .append(true)
17.         .open("/tmp/parallel")
18.         .unwrap();
20.     let mut set: JoinSet<()> = JoinSet::new();
21.     let rt = tokio::runtime::Runtime::new().unwrap();
22.     rt.block_on(async {
23.         loop {
24.             while set.len() >= max_tasks {
25.                 set.join_next().await;
26.             }
27.             未做写互斥函数
28.             let mut file_ref = OpenOptions::new()
29.                 .create(true)
30.                 .write(true)
31.                 .append(true)
32.                 .open("/tmp/parallel")
33.                 .unwrap();
34.             set.spawn(async move { write_line(&mut file_ref) });
35.         }
36.     });
37. }
39. fn write_line(file: &mut File) {
40.     for i in 0..1000 {
41.         let now = SystemTime::now().duration_since(UNIX_EPOCH).unwrap();
42.         let mut content = now.as_secs().to_string();
43.         content.push_str("_");
44.         content.push_str(&i.to_string());
46.         file.write_all(content.as_bytes()).unwrap();
47.         file.write_all("\n".as_bytes()).unwrap();
48.         file.write_all("\n".as_bytes()).unwrap();
49.     }
50. }

复制代码

代码不复杂，tokio 实现一个并发runtime，写文件函数是直接写时间戳，为了方便展示乱序所以写入两次换行。
输出的文本大概长这样

1. 1691287258_979
7. 1691287258_7931691287258_301
9. 1691287258_7431691287258_603
11. 1691287258_8941691287258_47
18. 1691287258_895
19. 1691287258_553
21. 1691287258_950
22. 1691287258_980
25. 1691287258_48
26. 1691287258_302
28. 1691287258_896
29. 1691287258_744
34. 1691287258_6041691287258_554

复制代码

很明显，写入并未达到预期，间隔并不平均，函数内部的执行步骤是乱序的。
我们把上面的程序改造一下

1. use std::{
2.     fs::{self, File, OpenOptions},
3.     io::Write,
4.     sync::Arc,
5.     time::{SystemTime, UNIX_EPOCH},
6. };
7. use tokio::sync::Mutex;
8. use tokio::task::JoinSet;
10. fn main() {
11.     println!("parallel write file!");
12.     let max_tasks = 200;
13.     let _ = fs::remove_file("/tmp/parallel");
14.     let file_ref = OpenOptions::new()
15.         .create(true)
16.         .write(true)
17.         .append(true)
18.         .open("/tmp/parallel")
19.         .unwrap();
21.     let f = Arc::new(Mutex::new(file_ref));
23.     let mut set: JoinSet<()> = JoinSet::new();
24.     let rt = tokio::runtime::Runtime::new().unwrap();
25.     rt.block_on(async {
26.         loop {
27.             while set.len() >= max_tasks {
28.                 set.join_next().await;
29.             }
31.             let mut file = Arc::clone(&f);
32.             set.spawn(async move { write_line_mutex(&mut file).await });
33.         }
34.     });
35. }
37. async fn write_line_mutex(mutex_file: &Arc<Mutex<File>>) {
38.     for i in 0..1000 {
39.         let mut f = mutex_file.lock().await;
40.         let now = SystemTime::now().duration_since(UNIX_EPOCH).unwrap();
41.         let mut content = now.as_secs().to_string();
42.         content.push_str("_");
43.         content.push_str(&i.to_string());
45.         f.write_all(content.as_bytes()).unwrap();
46.         f.write_all("\n".as_bytes()).unwrap();
47.         f.write_all("\n".as_bytes()).unwrap();
48.     }
49. }

复制代码

这次我们用到了tokio::sync::Mutex，write_line_mutex函数在每次执行写任务以前先获取文件互斥锁。
看看这次的文件内容

1. 1691288040_374
3. 1691288040_374
5. 1691288040_374
7. 1691288040_375
9. 1691288040_374
11. 1691288040_374
13. 1691288040_374
15. 1691288040_374
17. 1691288040_374
19. 1691288040_374
21. 1691288040_374
23. 1691288040_374
25. 1691288040_374
27. 1691288040_374
29. 1691288040_375
31. 1691288040_375
33. 1691288040_374
35. 1691288040_375
37. 1691288040_375
39. 1691288040_375
41. 1691288040_375
43. 1691288040_375
45. 1691288040_375
47. 1691288040_375
49. 1691288040_375
51. 1691288040_375
53. 1691288040_375

复制代码

写入的格式正确，保证每次函数写函数完整执行。
关于文件写互斥这点事儿，今儿就聊到这。
完整源码

作者：京东科技 贾世闻
来源：京东云开发者社区

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！