Tensorflow音频分类

tensorflow

https://www.tensorflow.org/lite/examples/audio_classification/overview?hl=zh-cn

官方有移动端demo

前端不会  就只能找找有没有java支持

注意版本

注意JDK版本

1. package com.example.demo17.controller;
4. import org.tensorflow.*;
5. import org.tensorflow.ndarray.*;
6. import org.tensorflow.ndarray.impl.dense.FloatDenseNdArray;
7. import org.tensorflow.proto.framework.DataType;
8. import org.tensorflow.proto.framework.MetaGraphDef;
9. import org.tensorflow.proto.framework.SignatureDef;
10. import org.tensorflow.proto.framework.TensorInfo;
11. import org.tensorflow.types.TFloat32;
12. import org.tensorflow.types.TInt64;
14. import javax.sound.sampled.AudioFormat;
15. import javax.sound.sampled.AudioInputStream;
16. import javax.sound.sampled.AudioSystem;
17. import javax.sound.sampled.UnsupportedAudioFileException;
18. import javax.xml.transform.Result;
19. import java.io.File;
20. import java.io.IOException;
21. import java.io.InputStream;
22. import java.nio.file.Files;
23. import java.nio.file.Paths;
24. import java.util.*;
25. import java.util.concurrent.ConcurrentHashMap;
27. public class Test {
30.     private static FloatNdArray t1() {
31. //        String audioFilePath = "D:\\ai\\cat.wav";
32.         String audioFilePath = "C:\\Users\\user\\Downloads\\output_Wo9KJb-5zuz1_2.wav";
33. //        String audioFilePath = "D:\\ai\\111\\111.wav";
34.         // YAMNet期望的采样率
35.         int sampleRate = 16000;
36.         // YAMNet帧大小，0.96秒
37.         int frameSizeInMs = 96;
38.         // YAMNet帧步长，0.48秒
39.         int hopSizeInMs = 48;
41.         try (AudioInputStream audioStream = AudioSystem.getAudioInputStream(Paths.get(audioFilePath).toFile())) {
42.             AudioFormat format = audioStream.getFormat();
43.             if (format.getSampleRate() != sampleRate || format.getChannels() != 1) {
44.                 System.out.println("Warning: Audio must be 16kHz mono. Consider preprocessing.");
45.             }
46.             int frameSize = (int) (sampleRate * frameSizeInMs / 1000);
47.             int hopSize = (int) (sampleRate * hopSizeInMs / 1000);
49.             byte[] buffer = new byte[frameSize * format.getFrameSize()];
50.             short[] audioSamples = new short[frameSize];
51.             // 存储每个帧的音频数据
52.             List<Float> floatList = new ArrayList<>();
53.             while (true) {
54.                 int bytesRead = audioStream.read(buffer);
55.                 if (bytesRead == -1) {
56.                     break;
57.                 }
58.                 // 将读取的字节转换为short数组（假设16位精度）
59.                 for (int i = 0; i < bytesRead / format.getFrameSize(); i++) {
60.                     audioSamples[i] = (short) ((buffer[i * 2] & 0xFF) | (buffer[i * 2 + 1] << 8));
61.                 }
62.                 // 对当前帧进行处理（例如，归一化和准备送入模型）
63.                 float[] floats = processFrame(audioSamples);
64.                 for (float aFloat : floats) {
65.                     floatList.add(aFloat);
66.                 }
67.                 // 移动到下一个帧
68.                 System.arraycopy(audioSamples, hopSize, audioSamples, 0, frameSize - hopSize);
69.             }
71.             // 将List<Float>转换为float[]
72.             float[] floatArray = new float[floatList.size()];
73.             for (int i = 0; i < floatList.size(); i++) {
74.                 floatArray[i] = floatList.get(i);
75.             }
77.             return StdArrays.ndCopyOf(floatArray);
78.         } catch (UnsupportedAudioFileException | IOException e) {
79.             e.printStackTrace();
80.         }
81.         return null;
82.     }
85.     private static float[] processFrame(short[] frame) {
86.         // 示例：归一化音频数据到[-1.0, 1.0]
87.         float[] normalizedFrame = new float[frame.length];
88.         for (int i = 0; i < frame.length; i++) {
89.             // short的最大值为32767，故除以32768得到[-1.0, 1.0]
90.             normalizedFrame[i] = frame[i] / 32768f;
91.         }
92.         return normalizedFrame;
93.     }
95.     static Map<String,String> map=new ConcurrentHashMap<>();
97.     public static void main(String[] args) throws Exception {
98.         FloatNdArray floatNdArray = t1();
99.         TFloat32 tFloat32 = TFloat32.tensorOf(floatNdArray);
101.         //SavedModelBundle savedModelBundle = SavedModelBundle.load("D:\\saved_model", "serve");
102.         SavedModelBundle savedModelBundle = SavedModelBundle.load("C:\\Users\\user\\Downloads\\archive", "serve");
103.         Map<String, SignatureDef> signatureDefMap = MetaGraphDef.parseFrom(savedModelBundle.metaGraphDef().toByteArray()).getSignatureDefMap();
104.         /**
105.          * 获取基本定义信息
106.          */
107.         SignatureDef modelSig = signatureDefMap.get("serving_default");
108.         String inputTensorName = modelSig.getInputsMap().get("waveform").getName();
109.         String outputTensorName = modelSig.getOutputsMap().get("output_0").getName();
110.         savedModelBundle.graph();
111.         try (Session session = savedModelBundle.session()) {
112.             /*JDK 17*/
113. //            Result run = session.runner()
114. //                    .feed(inputTensorName, tFloat32)
115. //                    .fetch(outputTensorName)
116. //                    .run();
117. //            Tensor out = run.get(0);
118. //            Shape shape = out.shape();
119. //
120. //            System.out.println(shape);
121.             /*JDK 8*/
122.             List<Tensor> run = session.runner()
123.                     .feed(inputTensorName, tFloat32)
124.                     .fetch(outputTensorName)
125.                     .run();
126.             Tensor tensor = run.get(0);
127.             Shape shape = tensor.shape();
128.             System.out.println(shape.asArray());
129.             String l=String.valueOf(shape.asArray()[0]);
130.             //读取CSV文件
131.             String csvFile = "C:\\Users\\user\\Downloads\\archive\\assets\\yamnet_class_map.csv";
132.             try {
133.                 List<String> lines = Files.readAllLines(Paths.get(csvFile));
134.                 for (String line : lines) {
135.                     String[] values = line.split(",");
136.                     map.put(values[0], values[2]);
137.                 }
138.             } catch (IOException e) {
139.                 e.printStackTrace();
140.             }
141.             String s = map.get(l);
142.             System.out.println(s);
143.         }
144.     }
145. }

复制代码

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。