一次元数据空间内存溢出的排查记录

九天猎人  金牌会员 | 2023-7-11 12:22:08 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题
楼主

主题 896|帖子 896|积分 2688

在应用中，我们使用的 SpringData ES的 ElasticsearchRestTemplate来做查询，使用方式不对，导致每次ES查询时都新实例化了一个查询对象，会加载相关类到元数据中。最终长时间运行后元数据出现内存溢出；
问题原因：类加载过多，导致元数据OOM。非类实例多或者大对象问题；
排查方式：
查看JVM运行情况，发现元数据满导致内存溢出；
导出内存快照，通过OQL快速定位肇事者；
排查对应类的使用场景和加载场景（重点序列化反射场景）；
起源

06-15 下午正摩肩擦掌的备战着晚上8点。收到预发机器的一个GC次数报警。
  1. 【警告】UMP JVM监控
  2. 【警告】异步（async采集点：async.jvm.info（别名：jvm监控）15:42:40至15:42:50【xx.xx.xx.xxx(10174422426)(未知分组)】，JVM监控FullGC次数=2次[偏差0%]，超过1次FullGC次数>=2次
  3. 【时间】2023-06-15 15:42:50
  4. 【类型】UMP JVM监控
复制代码
第一时间诧异了下。该应用主要作用是接MQ消息和定时任务，同时任务和MQ都和线上做了隔离，也没有收到大流量的告警。
先看了下对应JVM监控：

只看上面都怀疑是监控异常（之前用文件采集的时候有遇到过，看CPU确实有波动。但堆基本无涨幅，怀疑非堆。）

问题排查

定位分析

既然怀疑非堆，我们先通过 jstat来看看情况
  1.   S0     S1     E      O      M     CCS    YGC     YGCT    FGC    FGCT     GCT   
  2.   0.00   0.00   0.89   3.67  97.49  97.96    854   23.720   958  615.300  639.020
  3.   0.00   0.00   0.89   3.67  97.49  97.96    854   23.720   958  615.300  639.020
  4.   0.00   0.00   0.89   3.67  97.49  97.96    854   23.720   958  615.300  639.020
  5.   0.00   0.00   0.89   3.67  97.49  97.96    854   23.720   958  615.300  639.020
  6.   0.00   0.00   0.89   3.67  97.49  97.96    854   23.720   958  615.300  639.020
复制代码
M列代表了metaspace的使用率，当前已经 97.49% 进一步印证了我们的猜测。
接下来通过 jmap 导出内存快照分析。这里我习惯使用 Visual VM 进行分析。

在这里我们看到有 118588 个类被加载了。正常业务下不会有这么多类。
这里我们走了很多弯路。
首先查看内存对象，根据类的实例数排了个序，试图看看是否是某个或某些类实例过多导致。

这里一般是排查堆异常时使用，可以看大对象和某类的实例数，但我们的问题是类加载过多。非类实例对象多或者大。这里排除。
后续还尝试了直接使用 Visual VM 的聚合按包路径统计，同时排序。收效都甚微。看不出啥异常来。
这里我们使用 OQL 来进行查询统计。
语句如下：
  1. var packageClassSizeMap = {};
  2. // 遍历统计以最后一个逗号做分割
  3. heap.forEachClass(function (it) {
  4.     var packageName = it.name.substring(0, it.name.lastIndexOf('.'));
  5.     if (packageClassSizeMap[packageName] != null) {
  6.         packageClassSizeMap[packageName] = packageClassSizeMap[packageName] + 1;
  7.     } else {
  8.         packageClassSizeMap[packageName] = 1;
  9.     }
  10. });
  11. // 排序 因为Visual VM的查询有数量限制。
  12. var sortPackageClassSizeMap = [];
  13. map(sort(Object.keys(packageClassSizeMap), function (a, b) {
  14.     return packageClassSizeMap[b] - packageClassSizeMap[a]
  15. }), function (it) {
  16.     sortPackageClassSizeMap.push({
  17.         package: it,
  18.         classSize: packageClassSizeMap[it]
  19.     })
  20. });
  21. sortPackageClassSizeMap;
复制代码
执行效果如下：

可以看到，com.jd.bapp.match.sync.query.es.po 下存在 92172 个类。这个包下，不到20个类。这时我们在回到开始查看类的地方。看看该路径下都是些什么类。
这里附带一提，直接根据路径获取对应的类数量：
  1. var packageClassSizeMap = {};
  2. // 遍历统计以最后一个逗号做分割
  3. heap.forEachClass(function (it) {
  4.     var packageName = it.name.substring(0, it.name.lastIndexOf('.'));
  5.     // 加路径过滤版
  6.     if (packageName.indexOf('com.jd.bapp.match.sync.query.es.po')){
  7.         if (packageClassSizeMap[packageName] != null) {
  8.             packageClassSizeMap[packageName] = packageClassSizeMap[packageName] + 1;
  9.         } else {
  10.             packageClassSizeMap[packageName] = 1;
  11.         }
  12.     }
  13. });
  15. sortPackageClassSizeMap;
复制代码
查询 com.jd.bapp.match.sync.query.es.po 路径下的classes

我们可以看到:

  • 每个ES的Po对象存在大量类加载，在后面有拼接Instantiator_xxxxx
  • 部分类有实例，部分类无实例。（count为实例数）
从上面得到的信息得出是ES相关查询时出现的。我们本地debug查询跟踪下。
抽丝剥茧

这里列下主要排查流程
在应用中，我们使用的 SpringData ES的 ElasticsearchRestTemplate来做查询，主要使用方法 org.springframework.data.elasticsearch.core.ElasticsearchRestTemplate#search
重点代码如下：
  1. public <T> SearchHits<T> search(Query query, Class<T> clazz, IndexCoordinates index) {
  2.     // 初始化request
  3.     SearchRequest searchRequest = requestFactory.searchRequest(query, clazz, index);
  4.     // 获取值
  5.     SearchResponse response = execute(client -> client.search(searchRequest, RequestOptions.DEFAULT));
  6.   
  7.     SearchDocumentResponseCallback<SearchHits<T>> callback = new ReadSearchDocumentResponseCallback<>(clazz, index);
  8.     // 转换为对应类型
  9.     return callback.doWith(SearchDocumentResponse.from(response));
  10. }
复制代码
加载

首先看初始化request的逻辑

  • org.springframework.data.elasticsearch.core.RequestFactory#searchRequest

    • 首先是： org.springframework.data.elasticsearch.core.RequestFactory#prepareSearchRequest

      • 这里有段代码是对搜索结果的排序处理： prepareSort(query, sourceBuilder, getPersistentEntity(clazz)); 重点就是这里的 getPersistentEntity(clazz)
        这段代码主要会识别当前类是否已经加载过，没有加载过则加载到内存中：
        1. @Nullable
        2. private ElasticsearchPersistentEntity<?> getPersistentEntity(@Nullable Class<?> clazz) {
        3.         // 从convert上下文中获取判断该类是否已经加载过，如果没有加载过，就会重新解析加载并放入上下文
        4.         return clazz != null ? elasticsearchConverter.getMappingContext().getPersistentEntity(clazz) : null;
        5. }
        复制代码


具体加载的实现见： 具体实现见：org.springframework.data.mapping.context.AbstractMappingContext#getPersistentEntity(org.springframework.data.util.TypeInformation)
  1.         /*
  2.          * (non-Javadoc)
  3.          * @see org.springframework.data.mapping.model.MappingContext#getPersistentEntity(org.springframework.data.util.TypeInformation)
  4.          */
  5.         @Nullable
  6.         @Override
  7.         public E getPersistentEntity(TypeInformation<?> type) {
  9.                 Assert.notNull(type, "Type must not be null!");
  11.                 try {
  12.                         read.lock();
  13.                         // 从上下文获取当前类
  14.                         Optional<E> entity = persistentEntities.get(type);
  15.                         // 存在则返回
  16.                         if (entity != null) {
  17.                                 return entity.orElse(null);
  18.                         }
  19.                 } finally {
  20.                         read.unlock();
  21.                 }
  22.                 if (!shouldCreatePersistentEntityFor(type)) {
  23.                         try {
  24.                                 write.lock();
  25.                                 persistentEntities.put(type, NONE);
  26.                         } finally {
  27.                                 write.unlock();
  28.                         }
  29.                         return null;
  30.                 }
  31.                 if (strict) {
  32.                         throw new MappingException("Unknown persistent entity " + type);
  33.                 }
  34.                 // 不存在时，添加该类型到上下文
  35.                 return addPersistentEntity(type).orElse(null);
  36.         }
复制代码
使用

上述是加载流程。执行查询后，我们还需要进行一次转换。这里就到了使用的地方：org.springframework.data.elasticsearch.core.ElasticsearchRestTemplate#search中 callback.doWith(SearchDocumentResponse.from(response));
这里这个方法会请求内部的 doWith 方法。实现如下：
  1. @Nullable
  2. public T doWith(@Nullable Document document) {
  4.     if (document == null) {
  5.         return null;
  6.     }
  7.     // 获取到待转换的类实例
  8.     T entity = reader.read(type, document);
  9.     return maybeCallbackAfterConvert(entity, document, index);
  10. }
复制代码
其中的 reader.read 会先从上下文中获取上述加载到上下文的类信息，然后读取
  1.         @Override
  2.         public <R> R read(Class<R> type, Document source) {
  3.                 TypeInformation<R> typeHint = ClassTypeInformation.from((Class<R>) ClassUtils.getUserClass(type));
  4.                 typeHint = (TypeInformation<R>) typeMapper.readType(source, typeHint);
  6.                 if (conversions.hasCustomReadTarget(Map.class, typeHint.getType())) {
  7.                         R converted = conversionService.convert(source, typeHint.getType());
  8.                         if (converted == null) {
  9.                                 // EntityReader.read is defined as non nullable , so we cannot return null
  10.                                 throw new ConversionException("conversion service to type " + typeHint.getType().getName() + " returned null");
  11.                         }
  12.                         return converted;
  13.                 }
  15.                 if (typeHint.isMap() || ClassTypeInformation.OBJECT.equals(typeHint)) {
  16.                         return (R) source;
  17.                 }
  18.                 // 从上下文获取之前加载的类
  19.                 ElasticsearchPersistentEntity<?> entity = mappingContext.getRequiredPersistentEntity(typeHint);
  20.                 // 获取该类信息
  21.                 return readEntity(entity, source);
  22.         }
复制代码
读取会走 org.springframework.data.elasticsearch.core.convert.MappingElasticsearchConverter#readEntity
先是读取该类的初始化器：EntityInstantiator instantiator = instantiators.getInstantiatorFor(targetEntity);

  • 是通过该类实现：org.springframework.data.convert.KotlinClassGeneratingEntityInstantiator#createInstance

    • 然后到：org.springframework.data.mapping.model.ClassGeneratingEntityInstantiator#doCreateEntityInstantiator

  1.         /*
  2.          * (non-Javadoc)
  3.          * @see org.springframework.data.convert.ClassGeneratingEntityInstantiator#doCreateEntityInstantiator(org.springframework.data.mapping.PersistentEntity)
  4.          */
  5.         @Override
  6.         protected EntityInstantiator doCreateEntityInstantiator(PersistentEntity<?, ?> entity) {
  8.                 PreferredConstructor<?, ?> constructor = entity.getPersistenceConstructor();
  10.                 if (ReflectionUtils.isSupportedKotlinClass(entity.getType()) && constructor != null) {
  12.                         PreferredConstructor<?, ?> defaultConstructor = new DefaultingKotlinConstructorResolver(entity)
  13.                                         .getDefaultConstructor();
  15.                         if (defaultConstructor != null) {
  16.                                 // 获取对象初始化器
  17.                                 ObjectInstantiator instantiator = createObjectInstantiator(entity, defaultConstructor);
  19.                                 return new DefaultingKotlinClassInstantiatorAdapter(instantiator, constructor);
  20.                         }
  21.                 }
  23.                 return super.doCreateEntityInstantiator(entity);
  24.         }
复制代码
这里先请求内部的：createObjectInstantiator
  1.         /**
  2.          * Creates a dynamically generated {@link ObjectInstantiator} for the given {@link PersistentEntity} and
  3.          * {@link PreferredConstructor}. There will always be exactly one {@link ObjectInstantiator} instance per
  4.          * {@link PersistentEntity}.
  5.          *
  6.          * @param entity
  7.          * @param constructor
  8.          * @return
  9.          */
  10.         ObjectInstantiator createObjectInstantiator(PersistentEntity<?, ?> entity,
  11.                         @Nullable PreferredConstructor<?, ?> constructor) {
  13.                 try {
  14.                         // 调用生成
  15.                         return (ObjectInstantiator) this.generator.generateCustomInstantiatorClass(entity, constructor).newInstance();
  16.                 } catch (Exception e) {
  17.                         throw new RuntimeException(e);
  18.                 }
  19.         }
复制代码
获取对象生成实例：generateCustomInstantiatorClass 这里获取类名称，会追加 _Instantiator_和对应类的 hashCode
  1.                 /**
  2.                  * Generate a new class for the given {@link PersistentEntity}.
  3.                  *
  4.                  * @param entity
  5.                  * @param constructor
  6.                  * @return
  7.                  */
  8.                 public Class<?> generateCustomInstantiatorClass(PersistentEntity<?, ?> entity,
  9.                                 @Nullable PreferredConstructor<?, ?> constructor) {
  10.                         // 获取类名称
  11.                         String className = generateClassName(entity);
  12.                         byte[] bytecode = generateBytecode(className, entity, constructor);
  14.                         Class<?> type = entity.getType();
  16.                         try {
  17.                                 return ReflectUtils.defineClass(className, bytecode, type.getClassLoader(), type.getProtectionDomain(), type);
  18.                         } catch (Exception e) {
  19.                                 throw new IllegalStateException(e);
  20.                         }
  21.                 }
  23.                 private static final String TAG = "_Instantiator_";
  25.                 /**
  26.                  * @param entity
  27.                  * @return
  28.                  */
  29.                 private String generateClassName(PersistentEntity<?, ?> entity) {
  30.                         // 类名+TAG+hashCode
  31.                         return entity.getType().getName() + TAG + Integer.toString(entity.hashCode(), 36);
  32.                 }
复制代码
到此我们元数据中的一堆 拼接了 Instantiator_xxxxx 的类来源就破案了。
真相大白

对应问题产生的问题也很简单。
  1. // 每次search前 都new了个RestTemplate，导致上下文发生变化，每次重新生成加载
  2. new ElasticsearchRestTemplate(cluster);
复制代码
这里我们是双集群模式，每次请求时会由负载决定使用那一个集群。之前在这里每次都 new了一个待使用集群的实例。
内部的上下文每次初始化后都是空的。

  • 请求查询ES

    • 初始化ES查询

      • 上下文为空
      • 加载类信息（hashCode发生变化）
      • 获取类信息（重计算类名）
      • 重新加载类到元数据


最终长时间运行后元数据空间溢出；
事后结论

1.当时的临时方案是重启应用，元数据区清空，同时临时也可以放大元数据区大小。
2.元数据区的类型卸载或回收，8以后已经不使用了。
3.元数据区的泄漏排查思路：找到加载多的类，然后排查使用情况和可能的加载场景，一般在各种序列化反射场景。
4.快速排查可使用我们的方案。使用OQL来完成。
5.监控可以考虑加载类实例监控和元数据空间使用大小监控和对应报警。可以提前发现和处理。
6.ES查询在启动时对应集群内部初始化一个查询实例。使用那个集群就使用对应的集群查询实例。
附录

VisualVM下载地址：https://visualvm.github.io/
OQL： Object Query Language 可参看在VisualVM中使用OQL分析
获取路径下类加载数量，从高到低排序
  1. var packageClassSizeMap = {};
  2. // 遍历统计以最后一个逗号做分割
  3. heap.forEachClass(function (it) {
  4.     var packageName = it.name.substring(0, it.name.lastIndexOf('.'));
  5.     if (packageClassSizeMap[packageName] != null) {
  6.         packageClassSizeMap[packageName] = packageClassSizeMap[packageName] + 1;
  7.     } else {
  8.         packageClassSizeMap[packageName] = 1;
  9.     }
  10. });
  11. // 排序 因为Visual VM的查询有数量限制。
  12. var sortPackageClassSizeMap = [];
  13. map(sort(Object.keys(packageClassSizeMap), function (a, b) {
  14.     return packageClassSizeMap[b] - packageClassSizeMap[a]
  15. }), function (it) {
  16.     sortPackageClassSizeMap.push({
  17.         package: it,
  18.         classSize: packageClassSizeMap[it]
  19.     })
  20. });
  21. sortPackageClassSizeMap;
复制代码
获取某个路径下类加载数量
  1. var packageClassSizeMap = {};
  2. // 遍历统计以最后一个逗号做分割
  3. heap.forEachClass(function (it) {
  4.     var packageName = it.name.substring(0, it.name.lastIndexOf('.'));
  5.     // 加路径过滤版
  6.     if (packageName.indexOf('com.jd.bapp.match.sync.query.es.po')){
  7.         if (packageClassSizeMap[packageName] != null) {
  8.             packageClassSizeMap[packageName] = packageClassSizeMap[packageName] + 1;
  9.         } else {
  10.             packageClassSizeMap[packageName] = 1;
  11.         }
  12.     }
  13. });
  15. sortPackageClassSizeMap;
复制代码
特别鸣谢

感谢黄仕清和Jdos同学提供的技术支持。
作者：京东零售 王建波
来源：京东云开发者社区

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！

本帖子中包含更多资源

您需要 登录 才可以下载或查看，没有账号？立即注册

x
回复

使用道具 举报

0 个回复

正序浏览
返回列表

快速回复

高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

九天猎人

金牌会员
这个人很懒什么都没写!

楼主热帖

标签云

存储 服务器
微信订阅号
微信服务号
微信客服
小程序
H5
关于我们 商务合作 网站地图
©Copyright 2022-2024 杭州祥升科技有限公司 版权所有 浙ICP备20004199号
快速回复 返回顶部 返回列表