跳到主要内容

1 篇文档带有标签「bigbird」

查看所有标签

滑窗与固定稀疏

每个 query 看哪些 key 由位置预定义——滑窗取局部，全局 token 和随机连接补长程