评估SentencePiece分词的效果如何？

阅读量：

首先需要完成相关依赖库的安装过程:

复制代码

    sudo apt-get install autoconf automake libtool libprotobuf9v5 protobuf-compiler libprotobuf-dev

获取sentencepiece的方法为：通过git clone命令从https://github.com/google/sentencepiece>进行克隆操作。

关于sentencepiece的编译及安装过程：

复制代码

    cd /path/to/sentencepiece
    ./autogen.sh
    ./configure
    make
    make check
    sudo make install
    sudo ldconfig

构建sentencepiece模型的训练过程：

复制代码

    spm_train --input=<input> --model_prefix=<model_name> --vocab_size=8000 --model_type=<type>

全部评论 (0)

还没有任何评论哟~