shen/AIAS1
1
0
Fork 0
mirror of https://gitee.com/mymagicpower/AIAS.git synced 2024-11-25 16:05:33 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
main
AIAS1/2_nlp_sdks
History
Calvin 7b21cc0960 no message
2024-11-25 10:43:10 +08:00
..
bert_qa_sdk no message 2024-11-25 10:43:10 +08:00
cross_encoder_en_sdk no message 2024-11-25 10:43:10 +08:00
embedding no message 2024-11-25 10:43:10 +08:00
kits no message 2023-11-05 04:50:11 +08:00
lexical_analysis 更新模型加载说明 2024-11-13 10:21:20 +08:00
llm no message 2024-11-25 10:43:10 +08:00
porn_detection_sdk no message 2024-11-25 10:43:10 +08:00
qa_natural_questions_sdk no message 2024-11-25 10:43:10 +08:00
qa_retrieval_msmarco_s_sdk no message 2024-11-25 10:43:10 +08:00
semantic_search_publications_sdk no message 2024-11-25 10:43:10 +08:00
semantic_simnet_bow_sdk no message 2024-11-25 10:43:10 +08:00
sentiment_analysis no message 2024-11-25 10:43:10 +08:00
tokenizer_sdk no message 2024-11-25 10:43:10 +08:00
translation_en_de_sdk no message 2024-11-25 10:43:10 +08:00
translation_zh_en_sdk no message 2024-11-25 10:43:10 +08:00
README_CN.md no message 2024-11-25 10:43:10 +08:00
README.md no message 2024-11-25 10:43:10 +08:00

README.md

项目清单:

  • 2_nlp_sdks - [自然语言 SDK]
  1). 工具箱系列：sentencepiece，fastText，npy/npz文件处理等。
  2). 大模型
  3). 词向量
  4). 机器翻译
      ...

fastText - kits/fasttext_sdk

fastText是一个快速文本分类算法。

解析npy/npz文件 - kits/npy_npz_sdk

java读取python numpy保存的npz、npy文件。。

Sentencepiece分词 - kits/sentencepiece_sdk

Sentencepiece分词的Java实现。

jieba分词 - lexical_analysis/jieba_sdk

jieba分词java版本的简化实现。

词法分析SDK [中文] - lexical_analysis/lac_sdk

词法分析模型能整体性地完成中文分词、词性标注、专名识别任务。