File tree Expand file tree Collapse file tree 1 file changed +10
-0
lines changed Expand file tree Collapse file tree 1 file changed +10
-0
lines changed Original file line number Diff line number Diff line change 11## 欢迎Star,感谢Star~
2+ ## [ 代码框架介绍与详细代码讲解] ( https://zhuanlan.zhihu.com/p/100884995 )
3+ * 笔者此次介绍的代码框架复用性与解耦性比较高。笔者在这里大致说明一下怎么去使用这个框架。对于一个问题,我们首先想的是解决问题的办法,也就是模型构建部分model.py。当模型确定了,那我们就要构建数据迭代器(utils.py)给模型喂数据了,而utils.py读入的数据是preprocess.py清洗干净的数据。
4+
5+ * 当构建以上这几部分之后,便是模型训练部分train_fine_tune.py,这个部分包含训练、验证F1和保存每一个epoch训练模型的过程。一开始我们训练单模得先确定单模是否有效,我们可以通过train_fine_tune.py的main函数将训练集和验证集都用验证集去表示,看一下验证集F1是否接近90%,若接近则说明我们的模型构建部分没有出错,但不保证我们的F1评估公式是否写错。因此,我们使用刚刚用验证集训练得到的模型,通过predict.py来预测验证集,人工检验预测的结果是否有效,这样子就能保证我们整体的单模流程完全没问题了。
6+
7+ * 最后就是后处理规则postprocess和融合ensemble两部分,这里的主观性比较强,一般都是根据具体问题具体分析来操作。
8+
9+ * 其中,utils.py也有main函数,可以用来检验我们构造的Batch数据是否有误,直接打印出来人工检验一下即可。整个框架的超参数都在config.py处设置,加强框架的解耦性,避免了一处修改,处处修改的情况。
10+
11+ * 整体的框架也可复用到其他问题上,只需要根据我们修改的model.py来确定喂入的Batch数据格式,其他的代码文件也只是根据问题去修改相应部分,降低了调试成本。
212
313## 2019BDCI互联网金融新实体发现(单模成绩第一,最终成绩第二)
414* 实践是检验理论的唯一标准。为此,笔者将通过中国计算机学会举办的[ 2019CCF大数据与计算智能大赛的互联网金融新实体发现竞赛] ( https://www.datafountain.cn/competitions/361 ) 作为实践,让读者们在了解预训练模型强大的同时,顺便掌握打比赛的流程。
You can’t perform that action at this time.
0 commit comments