【Timm】create_model所提供的ViT模型概览

 ⚪查看代码:python xxx.py 

import timm

if __name__ == '__main__':
    model_vit = timm.list_models('*vit*')
    print(len(model_vit),model_vit[:])

⚪结合vision transformer理解

7 ResNets:

  • R50x1, R50x2 R101x1, R152x1, R152x2, pre-trained for 7 epochs,
  • plus R152x2 and R200x3 pre-trained for 14 epochs;

6 Vision Transformers: 

  • ViT-B/32, B/16, L/32, L/16, pre-trained for 7 epochs,
  • plus L/16 and H/14 pre-trained for 14 epochs;

5 hybrids,

  • R50+ViT-B/32, B/16, L/32, L/16 pretrained for 7 epochs,
  • plus R50+ViT-L/16 pre-trained for 14 epochs

参数解读:

  • 以ViT-L/16为例,表示ViT Large模型,对应patch_size为16。
  • 但是,混合模
Transformer在许多NLP(自然语言处理)任务中取得了最先进的成果。 ViT (Vision Transformer)是Transformer应用于CV(计算机视觉)领域里程碑式的工作,后面发展出更多的变体,如Swin Transformer。 ViT (Vision Transformer)模型发表于论文An Image is Worth 16X16 Words: Transformer For Image Recognition At Scale,使用纯Transformer进行图像分类。ViT在JFT-300M数据集上预训练后,可超过卷积神经网络ResNet的性能,并且所用的训练计算资源可更少。 本课程对ViT的原理与PyTorch实现代码进行精讲,来帮助大家掌握其详细原理和具体实现。其中代码实现包含两种代码实现方式,一种是采用timm库,另一种是采用einops/einsum。  原理精讲部分包括:Transformer的架构概述、Transformer的Encoder 、Transformer的Decoder、ViT架构概述、ViT模型详解、ViT性能及分析。  代码精讲部分使用Jupyter Notebook对ViT的PyTorch代码进行逐行解读,包括:安装PyTorch、ViTtimm库实现代码解读、 einops/einsum 、ViT的einops/einsum实现代码解读。相关课程: 《Transformer原理与代码精讲(PyTorch)》https://edu.csdn.net/course/detail/36697《Transformer原理与代码精讲(TensorFlow)》https://edu.csdn.net/course/detail/36699《ViT(Vision Transformer)原理与代码精讲》https://edu.csdn.net/course/detail/36719《DETR原理与代码精讲》https://edu.csdn.net/course/detail/36768《Swin Transformer实战目标检测:训练自己的数据集》https://edu.csdn.net/course/detail/36585《Swin Transformer实战实例分割:训练自己的数据集》https://edu.csdn.net/course/detail/36586 《Swin Transformer原理与代码精讲》 https://download.csdn.net/course/detail/37045 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

MengYa_DreamZ

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值