apisix~自界说文件上传代理插件~支持form-data文件和kv参数 ...

参考文献

• https://stackoverflow.com/questions/24535189/composing-multipart-form-data-with-a-different-content-type-on-each-parts-with-j
  
• https://www.reddit.com/r/lua/comments/yaizxv/lua_post_multipartformdata_and_a_file_via/?rdt=60519
  
• https://github.com/rstudio/redx/issues/19
  
• client_body_buffer_size https://github.com/apache/apisix/issues/10692
  
• client_body_buffer_size https://github.com/apache/apisix/issues/6741
  

问题产生的缘故原由

后端有个文件上传服务，前端可以直接像文件上传到服务器，但这个上传服务除了有form-data文件流之外，还需要有其它key/value的表单参数，这些参数是固定的，或者有一定的规则，这时我们通过apisix代理一下，就显得更加机动和理了。
http中的multipart/form-data消息体如下

修改后的请求，是一个标准的http请求，你通过postman的codesnippet视图也可以看到，代码如下

1. POST /mobile-server/manager/6.0.0.0.0/cdnManage/customUpload HTTP/1.1
2. Host: api-gw-test.pkulaw.com
3. Cookie: CookieId=b97385476b3c721c81a9163f1c8a85dd; SUB=347c9e9e-076c-45e3-be74-c482fffcc6e5; preferred_username=test; session_state=458053bd-5970-4200-9b6f-cf538ec9808b
4. Content-Length: 508
5. Content-Type: multipart/form-data; boundary=----WebKitFormBoundary7MA4YWxkTrZu0gW
7. ----WebKitFormBoundary7MA4YWxkTrZu0gW
8. Content-Disposition: form-data; name="folder"
10. app/icon
11. ----WebKitFormBoundary7MA4YWxkTrZu0gW
12. Content-Disposition: form-data; name="domain"
14. https://static.pkulaw.com
15. ----WebKitFormBoundary7MA4YWxkTrZu0gW
16. Content-Disposition: form-data; name="fileName"
18. xzcf.png
19. ----WebKitFormBoundary7MA4YWxkTrZu0gW
20. Content-Disposition: form-data; name="multipartFile"; filename="/C:/Users/User/Pictures/21111.png"
21. Content-Type: image/png
23. (data)
24. ----WebKitFormBoundary7MA4YWxkTrZu0gW--

复制代码

开发过程中的一些坑

• 参数拼接错误,form-data的文件流应该是第一个参数
  

1. 服务端收到的请求体和参数为空

复制代码

• 后端服务直接报错，缘故原由有以下几个
  

• 有空的boundary，
  
• boundary与字段之间没有\r\n换行
  
• 将所有\n替换为\r\n，可能会办理上传文件和参数在接收端为空的问题
  
• http请求头中的boundary是没有开头的两个减号的，这块非常容易出错，例如ngx.req.set_header("Content-Type", "multipart/form-data; boundary=" .. boundary)
  
• boundary在各字段之前并不相同，需要着重看一下，一般是------开头，看看是否-的数量不同，可能接收端会有下面的错误，体现请求体拼接不精确
  

1. Failed to parse multipart servlet request; nested exception is java.io.IOException: org.apache.tomcat.util.http.fileupload.FileUploadException: Stream ended unexpectedly

复制代码

• 请求报400，大于8K的文件无法上传
  
  
  
  • 缘故原由：apisix中的nginx设置中，client_max_body_size默认设置为0，体现没有限制，不是它的缘故原由
    
  • 缘故原由：client_body_buffer_size在apisix中没有设置，它会使用默认值，默以为8K，大于8K的文件就会报错，是这个缘故原由
    
  • 办理：修改apisix-helm/values.yaml文件，nginx.configurationSnippet.httpStart节点添加设置client_body_buffer_size:15m
    
  1. nginx:
  2.     # -- Custom configuration snippet.
  3.     configurationSnippet:
  4.       main: |
  6.       httpStart: |
  7.         client_body_buffer_size 20m;

  复制代码

file-upload-proxy文件上传转发插件源码

1. -- author: zhangzhanling
2. -- 文件上传服务代理
3. -- 代理前端，与文件上传服务进行通讯
4. -- 在请求体中，添加统一的参数
5. local core = require("apisix.core")
6. local uuid = require("resty.jit-uuid")
7. local ngx = require("ngx")
8. -- 定义原数据格式
9. local schema = {
10.     type = "object",
11.     properties = {
12.         folder = {
13.             type = "string",
14.             description = "相对目录"
15.         },
16.         domain = {
17.             type = "string",
18.             description = "图片服务的域名"
19.         }
20.     }
21. }
23. local _M = {
24.     version = 0.1,
25.     priority = 1009, --数值超大，优先级越高，因为authz-keycloak是2000，它需要在authz-keycloak之后执行，所以把它定为1000,因为咱们也依赖proxy_rewrite插件
26.     name = "file-upload-proxy",
27.     schema = schema
28. }
30. local function get_specific_header(ctx, header_name)
31.     local headers = core.request.headers(ctx)
32.     local value = headers[header_name]
33.     if type(value) == "table" then
34.         return table.concat(value, ", ")
35.     else
36.         return value
37.     end
39. end
40. -- 辅助函数：查找边界字符串
41. local function find_boundary(content_type)
42.     return content_type:match("boundary=([^;]+)")
43. end
45. function _M.rewrite(conf, ctx)
46.     ngx.req.read_body()
47.     local body_data = ngx.req.get_body_data()
49.     if not body_data then
50.         core.log.warn("Failed to read request body.")
51.         return 400
52.     end
54.     local content_type = ngx.req.get_headers()["content-type"]
55.     local boundary = find_boundary(content_type)
57.     if not boundary then
58.         core.log.warn("No boundary found in content type.")
59.         return 400
60.     end
62.     local startBoundary = "--" .. boundary
64.     local sub_value = get_specific_header(ctx, "sub")
65.     local folder = conf.folder
66.     if sub_value then
67.         folder = folder .. "/" .. sub_value
68.     end
70.     ---- 构建新的请求体
71.     local new_body = ""
73.     local fileExt = ".jpg"
74.     local filename = string.match(body_data, 'filename="([^"]+)"')
76.     if filename then
77.         -- 从filename中提取扩展名
78.         local _, _, ext = string.find(filename, "%.([^.]+)$")
79.         if ext then
80.             core.log.info("文件扩展名为: " .. ext)
81.             fileExt = "." .. ext;
82.         end
83.     end
85.     -- 添加新字段
86.     local new_fields = {
87.         { name = "domain", value = conf.domain },
88.         { name = "fileName", value = uuid() .. fileExt },
89.         { name = "folder", value = folder }
90.     }
91.     ---- 添加新字段
92.     for _, field in ipairs(new_fields) do
93.         new_body = new_body .. string.format("\r\n%s\r\nContent-Disposition: form-data; name="%s"\r\n\r\n%s", startBoundary, field.name, field.value)
94.     end
96.     new_body = new_body .. "\r\n" .. body_data
98.     -- 设置新的请求体
99.     ngx.req.set_body_data(new_body)
101.     -- 更新 Content-Type 头
102.     ngx.req.set_header("Content-Type", "multipart/form-data; boundary=" .. boundary)
104.     -- 计算并设置 Content-Length
105.     local content_length = string.len(new_body)
106.     ngx.req.set_header("Content-Length", content_length)
108.     -- 日志输出新请求体和内容长度
109.     core.log.warn("boundary:", boundary)
110.     core.log.warn("New request body: ", new_body)
111.     core.log.warn("Content-Length: ", content_length)
112. end
114. -- 注册插件
115. return _M

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。