EWECT微博情绪分类大赛最优单模型复现（Bert-Last_3embedding_concat）

Bert-Last_3embedding_concat模型复现与优化

• 引言

  • 程序模块

  • • 模型训练成效

  • 结论

  • • 参数调整与优化

前言

当前正在进行网易云评论情绪分类的实现工作，该任务旨在服务于评论社区的相关研究。在查阅相关竞赛的实现方案过程中，发现仅有少数情况下单模型即可取得较为理想的效果，因此决定将其复现作为首个版本的模型。
所复现的模型为微博情绪分析评测（smp2020-ewect）中排名第三的方案，该模型在usual语料部分的情绪分类任务中表现优异，是当前最优单模型方案。
模型结构：

代码部分

tensorflow : 2.0
transformers : 3.1.0
无需过多解释，直接展示代码实现

    import numpy as np
    import pandas as pd
    import tensorflow as tf
    from sklearn import model_selectio