模型介绍

Text2vec: Text to Vector, Get Sentence Embeddings. 文本向量化，把文本(包括词、句子、段落)计算为特征向量。

text2vec实现了Word2Vec、RankBM25、BERT、Sentence-BERT、CoSENT等多种文本表征、文本相似度计算模型，并在文本语义匹配（相似度计算）任务上比较了各模型的效果。

安装

pip install torch # conda install pytorch
pip install -U text2vec

或者

pip install torch # conda install pytorch
pip install -r requirements.txt

git clone https://github.com/shibing624/text2vec.git
cd text2vec
pip install --no-deps .

计算文本向量例子

简单的例子，基于pretrained model计算文本向量：

>>> from text2vec import SentenceModel
>>> m = SentenceModel()
>>> m.encode("欢迎访问www.tizi365.com")
Embedding shape: (768,)

下面看个复杂的例子，使用不用的模型计算文本向量

import sys

sys.path.append('..')
from text2vec import SentenceModel
from text2vec import Word2Vec


def compute_emb(model):
    # Embed a list of sentences
    sentences = [
        '卡',
        '银行卡',
        '如何更换花呗绑定银行卡',
        '花呗更改绑定银行卡',
        'This framework generates embeddings for each input sentence',
        'Sentences are passed as a list of string.',
        'The quick brown fox jumps over the lazy dog.'
    ]
    sentence_embeddings = model.encode(sentences)
    print(type(sentence_embeddings), sentence_embeddings.shape)

    # The result is a list of sentence embeddings as numpy arrays
    for sentence, embedding in zip(sentences, sentence_embeddings):
        print("Sentence:", sentence)
        print("Embedding shape:", embedding.shape)
        print("Embedding head:", embedding[:10])
        print()


if __name__ == "__main__":
    # 中文句向量模型(CoSENT)，中文语义匹配任务推荐，支持fine-tune继续训练
    t2v_model = SentenceModel("shibing624/text2vec-base-chinese")
    compute_emb(t2v_model)

    # 支持多语言的句向量模型（CoSENT），多语言（包括中英文）语义匹配任务推荐，支持fine-tune继续训练
    sbert_model = SentenceModel("shibing624/text2vec-base-multilingual")
    compute_emb(sbert_model)

    # 中文词向量模型(word2vec)，中文字面匹配任务和冷启动适用
    w2v_model = Word2Vec("w2v-light-tencent-chinese")
    compute_emb(w2v_model)

输出结果：

<class 'numpy.ndarray'> (7, 768)
Sentence: 卡
Embedding shape: (768,)

Sentence: 银行卡
Embedding shape: (768,)
 ...

说明：

• 返回值embeddings是numpy.ndarray类型，shape为(sentences_size, model_embedding_size)，三个模型任选一种即可，推荐用第一个。
• shibing624/text2vec-base-chinese模型是CoSENT方法在中文STS-B数据集训练得到的，模型已经上传到huggingface的 模型库shibing624/text2vec-base-chinese， 是text2vec.SentenceModel指定的默认模型，可以通过上面示例调用，或者如下所示用transformers库调用， 模型自动下载到本机路径：~/.cache/huggingface/transformers
• w2v-light-tencent-chinese是通过gensim加载的Word2Vec模型，使用腾讯词向量Tencent_AILab_ChineseEmbedding.tar.gz计算各字词的词向量，句子向量通过单词词 向量取平均值得到，模型自动下载到本机路径：~/.text2vec/datasets/light_Tencent_AILab_ChineseEmbedding.bin

通过transformers使用Text2vec模型

text2vec模型也上传到huggingface，可以通过transformers使用模型。

安装sentence-transformers

pip install -U sentence-transformers

使用例子

from sentence_transformers import SentenceTransformer

#  加载指定模型
m = SentenceTransformer("shibing624/text2vec-base-chinese")

sentences = ['如何更换花呗绑定银行卡', '花呗更改绑定银行卡']

# 计算文本向量
sentence_embeddings = m.encode(sentences)
print("文本向量:")
print(sentence_embeddings)