快速将旧浏览器的插件转移新浏览器

Master Theorem： T(n)=aT(nb)+f(n)T(n)=aT\left(\dfrac{n}{b}\right)+f(n)T(n)=aT(bn​)+f(n) where a≥1,b>1a\geq 1, b>1a≥1,b>1, a,ba,ba,b is constant, nb\dfrac{n}{b}bn​ can be either ⌊nb⌋\lfloor \dfrac{n}{b} \rfloor⌊bn​⌋ or ⌈nb⌉\lceil \dfrac{n}{b} \rcei.

贴一篇文章： Master—Theorem 主定理的证明和使用

主定理Master-Theorem用于分治递推式求解

主定理

For recurrent relation with the following format: \(T(n) = a T(\frac{n}{b}) + f(n)\) Let \(c=\log_b a\) be the critical exponent. Master theorem compares the relative growth of \(f(n)\) and \(n^{c}\),...

算法设计理论（1）-Master Theorem 前言 在算法复杂度设计与分析前，我们需要一些和数学相关的知识，包括函数的渐近界的定义与性质。并对分治算法中算法复杂度计算的主定义进行推导。 函数渐近界 设 f和 n是定义域为自然集N 上的函数。 用极限表达如下： 几个定理如下： Master Theorem 推导 进一步转换： 算法复杂度分析一般关注与问题规模n 的函数关系，最好能够化简成n 的多项式 分类讨论： 4. 引用 1.《算法设计与分析》，清华出版社版本，屈婉玲，刘田等。

在递归与分治的算法复杂度分析时，通常可得到一个递推公式，形如： 其中为问题的规模，为递归的子问题的数量，为子问题的规模，为每次递归带来的额外计算的函数。要计算这个式子，有以下三种情形： 当，，则 当，，则 当，，且对于任意，有，则 举个例子，现有，根据情形1，有。 关于主定理的证明可以参考主定理证明，这里不做展开。另外，情形2对于任意k，又有三种情形，可以参考维基百科。 ...

文本主要介绍一下如何使用 PyTorch 复现 Transformer，实现简单的机器翻译任务。请先花上 15 分钟阅读我的这篇文章 Transformer详解，再来看文本，方能达到醍醐灌顶，事半功倍的效果 数据预处理 这里我并没有用什么大型的数据集，而是手动输入了两对德语→英语的句子，还有每个字的索引也是我手动硬编码上去的，主要是为了降低代码阅读难度，我希望读者能更关注模型实现的部分 # S: Symbol that shows starting of decoding input # E: Symbol

B站视频讲解 本文主要介绍一下如何使用 PyTorch 复现BERT。请先花上 10 分钟阅读我的这篇文章 BERT详解（附带ELMo、GPT介绍），再来看本文，方能达到醍醐灌顶，事半功倍的效果 准备数据集 这里我并没有用什么大型的数据集，而是手动输入了两个人的对话，主要是为了降低代码阅读难度，我希望读者能更关注模型实现的部分 ''' code by Tae Hwan Jung(Jeff Jung) @graykode, modify by wmathor Reference : https://g

简述 Sentence-Transformer官方文档写的很详细，里面有各种你可能会用到的示例代码，并且都有比较详细的说明，如果有什么问题，应该先去看官方文档 本文主要从两种情况来介绍如何使用Sentence-Transformer，一种是直接使用，另一种是在自己的数据集上fine-tune 首先，无论何种场景，您都应该先安装以下两个库 pip install -U sentence-transformers pip install -U transformers 直接使用 Sentence-Transf

一切都得从Transformer说起。Transformer左半边为Encoder，右半边为Decoder。我们将Encoder输入的句子称为source，Decoder输入的句子称为target [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RE29V0aK-1605251758733)(https://s1.ax1x.com/2020/04/25/JyCdy9.png#shadow)] Encoder负责将source进行self-attention并获得句子中每个词的r

Transformer是谷歌大脑在2017年底发表的论文attention is all you need中所提出的seq2seq模型。现在已经取得了大范围的应用和扩展，而BERT就是从Transformer中衍生出来的预训练语言模型 这篇文章分为以下几个部分 Transformer直观认识 Positional Encoding Self Attention Mechanism 残差连接和Layer Normalization Transformer Encoder整体结构 Tr

简述 BERT和RoBERTa在文本语义相似度（Semantic Textual Similarity）等句子对的回归任务上，已经达到了SOTA的结果。但是，它们都需要把两个句子同时送入网络，这样会导致巨大的计算开销：从10000个句子中找出最相似的句子对，大概需要5000万(C100002=49,995,000C_{10000}^2=49,995,000C100002​=49,995,000)个推理计算，在V100GPU上耗时约65个小时。这种结构使得BERT不适合语义相似度搜索，同样也不适合无监督任务，

文本主要介绍一下如何使用PyTorch复现Seq2Seq(with Attention)，实现简单的机器翻译任务，请先阅读论文Neural Machine Translation by Jointly Learning to Align and Translate，之后花上15分钟阅读我的这两篇文章Seq2Seq 与注意力机制，图解Attention，最后再来看文本，方能达到醍醐灌顶，事半功倍的效果 数据预处理 数据预处理的代码其实就是调用各种API，我不希望读者被这些不太重要的部分分散了注意力，因此这里我

本文介绍一下如何使用BiLSTM（基于PyTorch）解决一个实际问题，实现给定一个长句子预测下一个单词 如果不了解LSTM的同学请先看我的这两篇文章LSTM、PyTorch中的LSTM。下面直接开始代码讲解 导库 ''' code by Tae Hwan Jung(Jeff Jung) @graykode, modify by wmathor ''' import torch import numpy as np import torch.nn as nn import torch.optim as

Introduction Longformer是一种可高效处理长文本的模型，出自AllenAI 2020年4月10日。目前已经开源，而且可以通过huggingface快速使用 传统Transformer-based模型在处理长文本时存在一些问题，因为它们均采用"我全都要看"型的attention机制，即每一个token都要与其他所有token进行交互，无论是空间还是时间复杂度都高达O(n2)O(n^2)O(n2)。为了解决这个问题，之前有些工作是将长文本切分为若干个较短的Text Segment，然后逐个处

用Numpy实现线性回归 现在二维平面上有一系列点point，我们要找到一个一次函数y=wx+by=wx+by=wx+b，使得所有点到这条直线的距离平方和∑(wx+b−y)2\sum(wx+b-y)^2∑(wx+b−y)2最小 因此我们可以定义损失函数loss=(wx+b−y)2loss = (wx+b-y)^2loss=(wx+b−y)2，计算损失的代码如下： # compute loss d...