transformers库学习

1. 长文本滑窗处理

In [285]: from transformers import BertTokenizerFast

In [286]: tokenizer = BertTokenizerFast.from_pretrained(model_path)

In [287]: q = '胆结石要手术治疗吗'
In [288]: context = "治疗胆囊结石,手术切除最可靠目前,治疗胆囊结石的主流治疗方法有胆囊切除术,其他方法还有保胆取石术、
     ...: 口服药物溶石、碎石治疗4种。其中,口服药物溶石和体外超声波碎石排石因疗效不能令人满意,已经被淘汰。手术成为治疗
     ...: 胆结石最安全有效的方法。"

In [289]: tokenized_examples = tokenizer(
     ...:             q,
     ...:             context,
     ...:             stride=40,  # 每次滑窗需要重叠的数量
     ...:             max_length=64,
     ...:             truncation='only_second',
     ...:             return_overflowing_tokens=True,
     ...:             return_offsets_mapping=True,
     ...:             padding="max_length"
     ...:         )

In [290]: for i in tokenized_examples['input_ids']:
     ...:     print(tokenizer.decode(i))
     ...:
[CLS] 胆 结 石 要 手 术 治 疗 吗 [SEP] 治 疗 胆 囊 结 石 , 手 术 切 除 最 可 靠 目 前 , 治 疗 胆 囊 结 石 的 主 流 治 疗 方 法 有 胆 囊 切 除 术 , 其 他 方 法 还 有 保 胆 取 石 术 、 口 服 药 [SEP]
[CLS] 胆 结 石 要 手 术 治 疗 吗 [SEP] 可 靠 目 前 , 治 疗 胆 囊 结 石 的 主 流 治 疗 方 法 有 胆 囊 切 除 术 , 其 他 方 法 还 有 保 胆 取 石 术 、 口 服 药 物 溶 石 、 碎 石 治 疗 4 种 。 其 [SEP]
[CLS] 胆 结 石 要 手 术 治 疗 吗 [SEP] 主 流 治 疗 方 法 有 胆 囊 切 除 术 , 其 他 方 法 还 有 保 胆 取 石 术 、 口 服 药 物 溶 石 、 碎 石 治 疗 4 种 。 其 中 , 口 服 药 物 溶 石 和 体 外 超 [SEP]
[CLS] 胆 结 石 要 手 术 治 疗 吗 [SEP] , 其 他 方 法 还 有 保 胆 取 石 术 、 口 服 药 物 溶 石 、 碎 石 治 疗 4 种 。  其 中 , 口 服 药 物 溶 石 和 体 外 超 声 波 碎 石 排 石 因 疗 效 不 能 令 [SEP]
[CLS] 胆 结 石 要 手 术 治 疗 吗 [SEP] 、 口 服 药 物 溶 石 、 碎 石 治 疗 4 种 。 其 中 , 口 服 药 物 溶 石 和 体 外  超 声 波 碎 石 排 石 因 疗 效 不 能 令 人 满 意 , 已 经 被 淘 汰 。 手 术 [SEP]
[CLS] 胆 结 石 要 手 术 治 疗 吗 [SEP] 4 种 。 其 中 , 口 服 药 物 溶 石 和 体 外 超 声 波 碎 石 排 石 因 疗 效 不 能  令 人 满 意 , 已 经 被 淘 汰 。 手 术 成 为 治 疗 胆 结 石 最 安 全 有 效 [SEP]
[CLS] 胆 结 石 要 手 术 治 疗 吗 [SEP] 和 体 外 超 声 波 碎 石 排 石 因 疗 效 不 能 令 人 满 意 , 已 经 被 淘 汰 。 手 术 成 为 治 疗 胆 结 石 最 安 全 有 效 的 方 法 。 [SEP] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD] [PAD]

推荐阅读更多精彩内容

  • AI架构、搜索系统、 推荐系统、广告系统等技术资料整理。这篇文章意图是收集市面上质量不错的后端架构、AI架构、搜索...
    SDEls阅读 764评论 0 4
  • 转载链接 注:本文转载知乎上的回答 作者:初雪 链接:https://www.zhihu.com/question...
    pengshuangta阅读 27,744评论 9 295
  • 数据库基础 数据库系统概述 数据库技术的发展 人工管理阶段 特点:1.数据不保存   2.使用应用程序管理数据  ...
    真不懂事阅读 449评论 0 0
  • 多个相似Controller模板写法 基本 MASExampleBasicView 更新修改 MASExample...
    coderZ阅读 1,557评论 0 3
  • In [ ] In [1] In [ ] 请点击此处[https://ai.baidu.com/docs#/AIS...
    逍遥_yjz阅读 498评论 0 0
  • 我是黑夜里大雨纷飞的人啊 1 “又到一年六月,有人笑有人哭,有人欢乐有人忧愁,有人惊喜有人失落,有的觉得收获满满有...
    陌忘宇阅读 7,242评论 28 52
  • 人工智能是什么?什么是人工智能?人工智能是未来发展的必然趋势吗?以后人工智能技术真的能达到电影里机器人的智能水平吗...
    ZLLZ阅读 3,207评论 1 5
  • 上周六在压力下实在需要释放,去西塘躲了两天,真是好地方,很优雅的江南古镇,而且与周庄比开发不算过度。 我们是周五半...
    聚塔阅读 601评论 2 2
  • 首先介绍下自己的背景: 我11年左右入市到现在,也差不多有4年时间,看过一些关于股票投资的书籍,对于巴菲特等股神的...
    瞎投资阅读 4,734评论 3 8