TensorFlow Text 是您的一站式指南

官网：https://github.com/tensorflow/text

引言Introduction

TensorFlow Text包含了多种与TensorFlow 2.0协同工作的文本相关类和操作。此外，在基于文本模型的基础上通常会定期执行预处理功能，并实现了对核心TensorFlow未提供的序列建模支持。
这个库不仅能够基于文本模型实现定期预处理功能，
同时还实现了对核心TensorFlow未提供的序列建模能力。

在文本预处理阶段应用这些操作所带来的优点在于它们能够在TensorFlow Graph环境中实现这一目标。因此无需顾虑训练过程中的标记化问题以及推测过程中的标记化问题，并非需要特别管理预处理脚本的不同之处。

安装 Installation

    pip install -U tensorflow-text

Eager Execution

TensorFlow Text兼容TensorFlow eager模式和graph模式 。

 import tensorflow as tf

    
 import tensorflow_text as text
    
 tf.enable_eager_execution()

编码