Advertisement

基于华为昇思MindSpore的GPT2文本摘要 华为昇思MindSpore上的GPT2文本摘要

阅读量：

基于MindSpore的GPT2文本摘要实现

安装所需依赖库的建议

复制代码 
    pip install -i https://pypi.mirrors.ustc.edu.cn/simple mindspore==2.2.14
    pip install mindnlp

获取数据集：

复制代码 
    from mindnlp.utils import http_get
    
    # download dataset
    url = 'https://download.mindspore.cn/toolkits/mindnlp/dataset/text_generation/nlpcc2017/train_with_summ.txt'
    path = http_get(url, './')

一、数据集加载与处理

本次实验所采用的数据集为nlpcc2017摘要数据，其中包含新闻正文与对应摘要内容，共计50000个样本。

复制代码 
    from mindspore.dataset import TextFileDataset
    
    # load

全部评论 (0)

还没有任何评论哟~

相关文章推荐