pytorch 如何在训练过程保证分类层的分类中心保持为单位化的中心

news/2024/7/5 11:22:47

在分类问题中,最后的一层线性分类层,里面的每个向量相当于是各个类的中心,为了让不同类之间的类中心保持一致的范数,也就是都保证其为单位向量,我们可以在每次进行forward()之前进行一个分类层的参数标准化操作,这个操作不需要在优化器内进行,可以在forward()函数中进行,例子如下:

self.classifier.weight.data.copy_(F.normalize( self.classifier.weight.data ,dim=1))

这样就能保持每次进行分类计算的时候,分类中心都是标准化的。

这里要注意一下,在pytorch中,如果线性层的输入是2048维度的,输出是1000维度的,那么这个线性层的张量的尺寸是[1000,2048]维度的。


http://www.niftyadmin.cn/n/3657587.html

相关文章

Windows vista 和 Com Elevation Moniker

原文:Windows Vista and the COM Elevation Moniker 正如我的好友Tim所说的那样,Monikers正在发挥其作用。

windows 下使用anaconda指南

1 创建python 环境 我创建一个虚拟环境,名字为pytorch_gpu ,搭配的Python环境为 3.7,命令如下所示: conda create -n pytorch_gpu python3.7 2 查看都有哪些虚拟环境的指令: conda info --env 3 激活某个环境的指令…

逆流和操作

原文:Contraflow and Operations我认为Bill de hOra的博客"逆流"是开发与操作之间的"缝隙"。很明显,我站在Bill和Steve一边---不要再把时间浪费在"另一个抽象工厂"系统和开始确定如何让这个东西运经济地运行起来&#xff…

pytorch中的手动设置图片标签的方式

如果想自己手动设置一些标签,可以使用下面的方式: import torchlabel torch.tensor([2,0,4,1,2]).long() 注意,一定要在后面加上.long()才行,因为标签是这个long型的数据

敏捷和大人物

原文:Agility and the Big Dog 今天,有人把这个链节发给我看,但是我并不赞同里面的所有内容,不过我喜欢后面的这段话:“校园内的大人物”应该对什么嚷嚷? 如果他们将OOP作为敏捷开发焦点的中心&#xff0c…

ubunut 安装apex

git clone https://github.com/NVIDIA/apex cd apex python3 setup.py install

model.load_state_dict(state_dict, strict=False)

我们在构造好了一个模型后,可能要加载一些训练好的模型参数。举例子如下: 假设 trained.pth 是一个训练好的网络的模型参数存储 model Net()是我们刚刚生成的一个新模型,我们希望model将trained.pth中的参数加载加载进来,但是…