3D分割之SAGA训练流程解读

张裕  高级会员 | 2024-6-22 05:24:13 | 显示全部楼层 | 阅读模式
打印 上一主题 下一主题

主题 213|帖子 213|积分 639

训练之前,会先提取2种特征
一种是每张图片的image encoding, 它的size是(64,64),代表每个像素处的特征向量。这个向量用于特征匹配(选中的目标和每个像素的相似度)。
一种是SAM提取的所有mask(用于盘算mask地点目标的特征向量)。
extract_features.py提取的是SAM模型predictor.set_image的image encoding (1,256,64,64)
extract_segment_anything提取的是SAM的generate产生的主动mask
这里保存每张图片所有mask, float情势,resize到(200,200), 原图是(1024,1024).
SAM用法:
predictor.predict猜测的是含有prompt的mask, 而generate是主动产生所有mask.
训练3DGS的语义特征在traiin_contrastive_feature.py
3DGS模型的每个点增长语义特征
feature_dim=32
只不外Scene里面有一个gaussians还有一个feature_gaussians, 刚开始都是load scene_point_cloud.ply(3DGS),后面只用feature_gaussians,gaussians会删除。
feature_gaussians里面的get_point_features(807321,32), 这应该是每个点的语义特征.
get_features(807321,16,3) 这个是颜色特征,包括了feature_dc(SH颜色) 和feature_rest
语义feature初始化为随机数
[code][/code]
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!更多信息从访问主页:qidao123.com:ToB企服之家,中国第一个企服评测及商务社交产业平台。
回复

使用道具 举报

0 个回复

倒序浏览

快速回复

您需要登录后才可以回帖 登录 or 立即注册

本版积分规则

张裕

高级会员
这个人很懒什么都没写!

标签云

快速回复 返回顶部 返回列表