大概是 2009 年，初学 ConTeXt 时，曾经写了一份笔记，内容颇为粗陋，当时 CTeX 论坛的朋友协助打包上传到了 CTAN。2011 年我对该笔记作了一些修改，并在文中许诺在当年年底作一番大修，然而我食言了。很多年后，我果然胖了起来。

该技术的核心是一种使用时间换空间的策略。在现有的许多方法中被大量使用，例如 DenseNet、Swin Transformer 源码中都可以看到它的身影。

PyTorch 使用中，由于显卡显存是固定的，并且短期内难以进一步提升，所以掌握显存具体占用的细节有助于我们写出更加高效的代码，甚至跑出更好的结果。

粗看: [链接](CVPR 2018) [Grouped Shift] Shift: A Zero FLOP, Zero Parameter Alternative to Spatial Convolutions:

affine 设为 True 时，BatchNorm 层才会学习参数 gamma 和 beta，否则不包含这两个变量，变量名是 weight 和 bias。

关于 barrier 这个概念可以参考 Wiki 中的介绍：同步屏障(Barrier)是并行计算中的一种同步方法。对于一群进程或线程，程序中的一个同步屏障意味着任何线程/进程执行到此后必须等待，直到所有线程/进程都到达此点才可继续执行下文。

one-hot 形式的编码在深度学习任务中非常常见，但是却并不是一种很自然的数据存储方式。所以大多数情况下都需要我们自己手动转换。虽然思路很直接，就是将类别拆分成一一对应的 0-1 向量，但是具体实现起来确实还是需要思考下的。实际上 pytorch 自身在nn.functional...

原始文档：[链接]ICLR 2020的文章.针对长尾分布的分类问题提出了一种简单有效的基于re-sample范式的策略.提出的方法将模型的学习过程拆分成两部分:_representation learning_ 和 _classification_.对于前者, 则将完整的模型在原始的数据分布上进行训练, 即instance-b...

偶然间从 arxiv 上翻到的论文, 可以看做是对之前工作 Hierarchical multi-scale attention for semantic segmentation 的一个扩展.

等宽字体是编程中常会用到的一些字体, 基本的形式就是所有符号的宽度都是一样的.但由于大多数等宽字体设计时并未考虑对中文字符的兼容, 所以我们在使用时会面对这样一个问题, 就是中文和英文字体对不齐.下面展示了我在网站[链接]中寻找合适的字体时的一个例子(这里选...

Mixture-of-Experts (MoE) with sparse conditional computation has been proved an effective architecture for scaling attention-based models to more parameters with comparable computation cost. In this paper, we propose Sparse-MLP, scaling the recent...

Vision MLP 之 S2-MLP V1&V2 : Spatial-Shift MLP Architecture for Vision原始文档：[链接]这里将会总结关于 S2-MLP 的两篇文章。这两篇文章核心思路是一样的，即基于空间偏移操作替换空间 MLP。从摘要理解文章V1Recently, visual Transformer (ViT) and its fo...

This paper presents a simple MLP-like architecture, CycleMLP, which is a versatile backbone for visual recognition and dense predictions, unlike modern MLP architectures, e.g., MLP-Mixer, ResMLP, and gMLP, whose architectures are correlated to ima...

For the past ten years, CNN has reigned supreme in the world of computer vision, but recently, Transformer is on the rise. However, the quadratic computational cost of self-attention has become a severe problem of practice.

This paper presents Hire-MLP, a simple yet competitive vision MLP architecture via hierarchical rearrangement.

在写 gar 脚本的时候，我需要在 gar 脚本在运行时确定它自身在文件系统中所处目录的路径。基于该路径，可将 gar.css 文件部署到文档项目的根目录下，因为 gar.css 与 gar 脚本在同一目录下，后者需要根据自身的位置方能找到它，否则就只能由 gar 脚本的用户提供 gar....

os.system os.spawn os.popen --废弃 popen --废弃 commands --废弃，3.x中被移除 以上执行shell命令的相关的模块和函数的功能均在 subprocess 模块中实现，并提供了更丰富的功能。

1, 可以直接使用大牛的打包发行版sp13 vim. (我开始研究vim的时候, 还没有这个, 现在有了也不想用, 毕竟vim的个性化特征太过明显, 如果感兴趣的话, 可参考我的enali's vimrc, 基本都有注释, 虽然不推荐看我的)