Details of the Researcher

PHOTO

Sho Yokoi
Section
Center for Language AI Research
Job title
Associate Professor
Degree

  • Ph.D. (Information Sciences) (Tohoku University)

e-Rad No.
60888949
Profile

ほとんどすべての情報は、主催研究室の web サイト https://yokoi-lab.net/ もしくは個人ページ http://www.cl.ecei.tohoku.ac.jp/~yokoi/index_ja.html の方に記載してあります。

Research Interests 2

  • Representation Learning

  • Natural Language Processing

Awards 14

  1. 第21回言語処理若手シンポジウム (YANS), 株式会社サイバーエージェント賞

    2026/08　言語処理学会　パラメータ空間の幾何構造から見るタスク算術の失敗

  2. 第21回言語処理若手シンポジウム (YANS), 奨励賞

    2026/08　言語処理学会　大規模言語モデルにおける文内Attentionメカニズムの分析

  3. 第21回言語処理若手シンポジウム (YANS), 奨励賞

    2026/08　言語処理学会　単体複体を用いた言語モデルの出力空間の幾何的解釈

  4. 言語処理学会第32回年次大会 (NLP), 委員特別賞

    2026/03　言語処理学会　なぜ平均プーリングはうまく動くのか？テキスト埋め込みの二次統計量の崩壊の定量化

  5. 言語処理学会第32回年次大会 (NLP), 優秀賞

    2026/03　言語処理学会　SoftMatcha 2: 1兆語規模コーパスの超高速かつ柔らかい検索

  6. 言語処理学会第31回年次大会 (NLP), 委員特別賞

    2025/03　言語処理学会　不均衡最適輸送を用いた意味変化検出

  7. 第27回情報論的学習理論ワークショップ (IBIS), 最優秀プレゼンテーション賞

    2024/11　電子情報通信学会 情報論的学習理論と機械学習研究会　Zipf 白色化

  8. 言語処理学会第30回年次大会 (NLP), 委員特別賞

    2024/03　言語処理学会　言語の固有次元を測る

  9. 言語処理学会第30回年次大会 (NLP), 委員特別賞

    2024/03　言語処理学会　長距離相互作用する文脈依存言語における相転移現象 — 言語モデルの創発現象を統計力学の視点で理解する —

  10. 第25回情報論的学習理論ワークショップ (IBIS), 優秀プレゼンテーション賞ファイナリスト

    2022/11　電子情報通信学会 情報論的学習理論と機械学習研究会　単語ベクトルの長さはKL情報量で解釈可能な意味の強さを表す

  11. 言語処理学会第28回年次大会 委員特別賞

    2022/03　言語処理学会　Transformerにおけるフィードフォワードネットの作用

  12. 言語処理学会 2021年度 論文賞

    2022/03　言語処理学会　訓練事例の影響の軽量な推定

  13. 言語処理学会第27回年次大会 委員特別賞

    2021/03　言語処理学会　単語埋め込みによる論理演算

  14. 言語処理学会第27回年次大会 優秀賞

    2021/03　言語処理学会　単語埋め込みの確率的等方化

Show all ︎Show 5

Papers 41

  1. SoftMatcha 2: A Fast and Soft Pattern Matcher for Trillion-Scale Corpora International-journal Peer-reviewed

    Masataka Yoneda, Yusuke Matsushita, Go Kamoda, Kohei Suenaga, Takuya Akiba, Masaki Waga, Sho Yokoi

    Proceedings of the 43rd International Conference on Machine Learning (ICML)　149430-149463　2026/07

    DOI： 10.48550/arXiv.2602.10908 　

  2. Timesteps of Mamba Align with Human Reading Times International-journal Peer-reviewed

    Yuji Yamamoto, Shinnosuke Isono, Yoshinobu Kawahara, Sho Yokoi

    Findings of the Association for Computational Linguistics: ACL 2026　31820-31832　2026/07

    DOI： 10.18653/v1/2026.findings-acl.1592 　

  3. Why Mean Pooling Works: Quantifying Second-Order Collapse in Text Embeddings International-journal International-coauthorship Peer-reviewed

    Tomomasa Hara, Hiroto Kurita, Masaaki Imaizumi, Kentaro Inui, Sho Yokoi

    Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL)　47180-47201　2026/07

    DOI： 10.18653/v1/2026.acl-long.2183 　 10.48550/arXiv.2604.27398 　

  4. Linear Representations of Hierarchical Concepts in Language Models.

    Masaki Sakata, Benjamin Heinzerling, Takumi Ito, Sho Yokoi, Kentaro Inui

    CoRR　abs/2604.07886　2026/04

    DOI： 10.48550/arXiv.2604.07886 　

  5. On Entity Identification in Language Models International-journal International-coauthorship Peer-reviewed

    Masaki Sakata, Sho Yokoi, Benjamin Heinzerling, Takumi Ito, Kentaro Inui

    Findings of the Association for Computational Linguistics: ACL 2025　16717-16741　2025/07

    DOI： 10.18653/v1/2025.findings-acl.858 　 10.48550/arXiv.2506.02701 　

  6. Quantifying Lexical Semantic Shift via Unbalanced Optimal Transport International-journal Peer-reviewed

    Ryo Kishino, Hiroaki Yamagiwa, Ryo Nagata, Sho Yokoi, Hidetoshi Shimodaira

    Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (ACL)　15913-15933　2025/07

    DOI： 10.18653/v1/2025.acl-long.774 　 10.48550/arXiv.2412.12569 　

  7. SoftMatcha: A Soft and Fast Pattern Matcher for Billion-Scale Corpus Searches International-journal International-coauthorship Peer-reviewed

    Hiroyuki Deguchi, Go Kamoda, Yusuke Matsushita, Chihiro Taguchi, Kohei Suenaga, Masaki Waga, Sho Yokoi

    The Thirteenth International Conference on Learning Representations (ICLR)　1-26　2025/04

    DOI： 10.48550/arXiv.2503.03703 　

  8. TAID: Temporally Adaptive Interpolated Distillation for Efficient Knowledge Transfer in Language Models International-journal Peer-reviewed

    Makoto Shing, Kou Misaki, Han Bao, Sho Yokoi, Takuya Akiba

    The Thirteenth International Conference on Learning Representations (ICLR)　1-24　2025/04

    DOI： 10.48550/arXiv.2501.16937 　

  9. Zipfian Whitening International-journal Peer-reviewed

    Sho Yokoi, Han Bao, Hiroto Kurita, Hidetoshi Shimodaira

    Advances in Neural Information Processing Systems 37 (NeurIPS)　122259-122291　2024/12

    DOI： 10.52202/079017-3885 　 10.48550/arXiv.2411.00680 　

  10. Subspace Representations for Soft Set Operations and Sentence Similarities International-journal Peer-reviewed

    Yoichi Ishibashi, Sho Yokoi, Katsuhito Sudoh, Satoshi Nakamura

    Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL)　3512-3524　2024/06

    Publisher: Association for Computational Linguistics

    DOI： 10.18653/v1/2024.naacl-long.192 　 10.48550/arXiv.2210.13034 　

  11. Analyzing Feed-Forward Blocks in Transformers through the Lens of Attention Maps International-journal International-coauthorship Peer-reviewed

    Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui

    The Twelfth International Conference on Learning Representations (ICLR)　1-37　2024/04

    DOI： 10.48550/arXiv.2302.00456 　

  12. Contrastive Learning-based Sentence Encoders Implicitly Weight Informative Words International-journal International-coauthorship Peer-reviewed

    Hiroto Kurita, Goro Kobayashi, Sho Yokoi, Kentaro Inui

    Findings of the Association for Computational Linguistics: EMNLP 2023　10932-10947　2023/12

    DOI： 10.18653/v1/2023.findings-emnlp.729 　 10.48550/arXiv.2310.15921 　

  13. Norm of word embedding encodes information gain International-journal Peer-reviewed

    Momose Oyama, Sho Yokoi, Hidetoshi Shimodaira

    Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP)　2108-2130　2023/12

    DOI： 10.18653/v1/2023.emnlp-main.131 　 10.48550/arXiv.2212.09663 　

    More details Close

    Distributed representations of words encode lexical semantic information, but how is that information encoded in word embeddings? Focusing on the skip-gram with negative-sampling method, we show theoretically and experimentally that the squared norm of word embedding encodes the information gain defined by the Kullback-Leibler divergence of the co-occurrence distribution of a word to the unigram distribution of the corpus. Furthermore, through experiments on tasks of keyword extraction, hypernym prediction, and part-of-speech discrimination, we confirmed that the KL divergence and the squared norm of embedding work as a measure of the informativeness of a word provided that the bias caused by word frequency is adequately corrected.

  14. Improving word mover’s distance by leveraging self-attention matrix International-journal Peer-reviewed

    Hiroaki Yamagiwa, Sho Yokoi, Hidetoshi Shimodaira

    Findings of the Association for Computational Linguistics: EMNLP 2023　11160　(11183)　2023/12

    DOI： 10.18653/v1/2023.findings-emnlp.746 　 10.48550/arXiv.2211.06229 　

  15. Unbalanced Optimal Transport for Unbalanced Word Alignment International-journal Peer-reviewed

    Yuki Arase, Han Bao, Sho Yokoi

    Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL)　3966-3986　2023/07

    DOI： 10.18653/v1/2023.acl-long.219 　 10.48550/arXiv.2306.04116 　

  16. Transformer Language Models Handle Word Frequency in Prediction Head International-journal International-coauthorship Peer-reviewed

    Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui

    Findings of the Association for Computational Linguistics: ACL 2023　4523-4535　2023/07

    DOI： 10.18653/v1/2023.findings-acl.276 　 10.48550/arXiv.2305.18294 　

  17. Why is sentence similarity benchmark not predictive of application-oriented task performance? International-journal International-coauthorship Peer-reviewed

    Kaori Abe, Sho Yokoi, Tomoyuki Kajiwara, Kentaro Inui

    Proceedings of the 3rd Workshop on Evaluation and Comparison of NLP Systems　70-87　2022/11

    DOI： 10.18653/v1/2022.eval4nlp-1.8 　

  18. Subspace-based Set Operations on a Pre-trained Word Embedding Space

    Yoichi Ishibashi, Sho Yokoi, Katsuhito Sudoh, Satoshi Nakamura

    CoRR　abs/2210.13034　2022

    DOI： 10.48550/arXiv.2210.13034 　

  19. Instance-Based Neural Dependency Parsing Peer-reviewed

    Hiroki Ouchi, Jun Suzuki, Sosuke Kobayashi, Sho Yokoi, Tatsuki Kuribayashi, Masashi Yoshikawa, Kentaro Inui

    Transactions of the Association for Computational Linguistics　9　1493-1507　2021/12/17

    Publisher: MIT Press - Journals

    DOI： 10.1162/tacl_a_00439 　

    eISSN： 2307-387X

    More details Close

    Abstract Interpretable rationales for model predictions are crucial in practical applications. We develop neural models that possess an interpretable inference process for dependency parsing. Our models adopt instance-based inference, where dependency edges are extracted and labeled by comparing them to edges in a training set. The training edges are explicitly used for the predictions; thus, it is easy to grasp the contribution of each edge to the predictions. Our experiments show that our instance-based models achieve competitive accuracy with standard neural models and have the reasonable plausibility of instance-based explanations.

  20. Incorporating Residual and Normalization Layers into Analysis of Masked Language Models.

    Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui

    CoRR　abs/2109.07152　2021

  21. Instance-Based Neural Dependency Parsing.

    Hiroki Ouchi, Jun Suzuki, Sosuke Kobayashi, Sho Yokoi, Tatsuki Kuribayashi, Masashi Yoshikawa, Kentaro Inui

    Transactions of the Association for Computational Linguistics　9　1493-1507　2021

    DOI： 10.1162/tacl_a_00439 　

  22. Computationally Efficient Wasserstein Loss for Structured Labels

    Ayato Toyokuni, Sho Yokoi, Hisashi Kashima, Makoto Yamada

    CoRR　abs/2103.00899　2021

  23. Efficient Estimation of Influence of a Training Instance Peer-reviewed

    Sosuke Kobayashi, Yokoi Sho, Suzuki Jun, Inui Kentaro

    Journal of Natural Language Processing　28　(2)　573-597　2021

    Publisher: The Association for Natural Language Processing

    DOI： 10.5715/jnlp.28.573 　

    ISSN： 1340-7619

    eISSN： 2185-8314

    More details Close

    Understanding the influence of a training instance on a machine-learning model is important for interpreting the behavior of the model. However, it has been difficult and inefficient to evaluate the influence, considering how the prediction of a model would be changed if a training instance were not used. This prevents the application of influence estimation in neural networks with a large number of parameters. In this paper, we propose an efficient method for estimating the influence for neural networks. The method is inspired by dropout, which zero-masks a sub-network and prevents the sub-network from learning each training instance. By switching between dropout masks, we can use sub-networks that learned or did not learn each training instance and estimate its influence based on the difference between the sub-networks. Through experiments with BERT and VGGNet on classification datasets, it was demonstrated that the proposed method can enhance the interpretability of error predictions. Quantitative evaluations were also performed by analyzing learning curves of sub-networks and applying the method to data filtering.

  24. Incorporating Residual and Normalization Layers into Analysis of Masked Language Models Peer-reviewed

    Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui

    Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing　4547-4568　2021

    Publisher: Association for Computational Linguistics

    DOI： 10.18653/v1/2021.emnlp-main.373 　

  25. Computationally Efficient Wasserstein Loss for Structured Labels Peer-reviewed

    Ayato Toyokuni, Sho Yokoi, Hisashi Kashima, Makoto Yamada

    Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Student Research Workshop　1-7　2021

    Publisher: Association for Computational Linguistics

    DOI： 10.18653/v1/2021.eacl-srw.1 　

  26. Evaluation of Similarity-based Explanations Peer-reviewed

    Kazuaki Hanawa, Sho Yokoi, Satoshi Hara, Kentaro Inui

    The Ninth International Conference on Learning Representations (ICLR)　2021

  27. Modeling Event Salience in Narratives via Barthes' Cardinal Functions

    Takaki Otake, Sho Yokoi, Naoya Inoue, Ryo Takahashi, Tatsuki Kuribayashi, Kentaro Inui

    CoRR　abs/2011.01785　2020

  28. Word Rotator's Distance: Decomposing Vectors Gives Better Representations

    Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, Kentaro Inui

    CoRR　abs/2004.15003　2020

  29. Utterance Pair Scoring for Noisy Dialogue Data Filtering

    Reina Akama, Sho Yokoi, Jun Suzuki, Kentaro Inui

    CoRR　abs/2004.14008　2020

  30. Efficient Estimation of Influence of a Training Instance Peer-reviewed

    Sosuke Kobayashi, Sho Yokoi, Jun Suzuki, Kentaro Inui

    Proceedings of SustaiNLP: Workshop on Simple and Efficient Natural Language Processing　2020

    Publisher: Association for Computational Linguistics

    DOI： 10.18653/v1/2020.sustainlp-1.6 　

  31. Attention is Not Only a Weight: Analyzing Transformers with Vector Norms Peer-reviewed

    Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui

    Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)　7057-7075　2020

    Publisher: Association for Computational Linguistics

    DOI： 10.18653/v1/2020.emnlp-main.574 　

  32. Word Rotator's Distance Peer-reviewed

    Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, Kentaro Inui

    Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)　2944-2960　2020

    Publisher: Association for Computational Linguistics

    DOI： 10.18653/v1/2020.emnlp-main.236 　

  33. Filtering Noisy Dialogue Corpora by Connectivity and Content Relatedness Peer-reviewed

    Reina Akama, Sho Yokoi, Jun Suzuki, Kentaro Inui

    Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)　941-958　2020

    Publisher: Association for Computational Linguistics

    DOI： 10.18653/v1/2020.emnlp-main.68 　

  34. Modeling Event Salience in Narratives via Barthes' Cardinal Functions Peer-reviewed

    Takaki Otake, Sho Yokoi, Naoya Inoue, Ryo Takahashi, Tatsuki Kuribayashi, Kentaro Inui

    Proceedings of the 28th International Conference on Computational Linguistics (COLING)　1784-1794　2020

    Publisher: International Committee on Computational Linguistics

    DOI： 10.18653/v1/2020.coling-main.160 　

  35. Instance-Based Learning of Span Representations: A Case Study through Named Entity Recognition. Peer-reviewed

    Hiroki Ouchi, Jun Suzuki, Sosuke Kobayashi, Sho Yokoi, Tatsuki Kuribayashi, Ryuto Konno, Kentaro Inui

    Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL)　6452-6459　2020

    Publisher: Association for Computational Linguistics

    DOI： 10.18653/v1/2020.acl-main.575 　

  36. Pointwise HSIC: A Linear-Time Kernelized Co-occurrence Norm for Sparse Linguistic Expressions

    Sho Yokoi, Sosuke Kobayashi, Kenji Fukumizu, Jun Suzuki, Kentaro Inui

    CoRR　abs/1809.00800　2018

  37. Pointwise HSIC: A Linear-Time Kernelized Co-occurrence Norm for Sparse Linguistic Expressions Peer-reviewed

    Sho Yokoi, Sosuke Kobayashi, Kenji Fukumizu, Jun Suzuki, Kentaro Inui

    Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP)　1763-1775　2018

    Publisher: Association for Computational Linguistics

    DOI： 10.18653/v1/d18-1203 　

  38. Unsupervised Learning of Style-sensitive Word Vectors Peer-reviewed

    Reina Akama, Kento Watanabe, Sho Yokoi, Sosuke Kobayashi, Kentaro Inui

    Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL)　572-578　2018

    Publisher: Association for Computational Linguistics

    DOI： 10.18653/v1/P18-2091 　

  39. Learning Co-Substructures by Kernel Dependence Maximization Peer-reviewed

    Sho Yokoi, Daichi Mochihashi, Ryo Takahashi, Naoaki Okazaki, Kentaro Inui

    Proceedings of the 26th International Joint Conference on Artificial Intelligence (IJCAI)　3329-3335　2017

    Publisher: ijcai.org

    DOI： 10.24963/ijcai.2017/465 　

  40. Link Prediction in Sparse Networks by Incidence Matrix Factorization Peer-reviewed

    Sho Yokoi, Hiroshi Kajino, Hisashi Kashima

    J. Inf. Process.　25　477-485　2017

    DOI： 10.2197/ipsjjip.25.477 　

  41. Link Prediction by Incidence Matrix Factorization

    Sho Yokoi, Hiroshi Kajino, Hisashi Kashima

    ECAI 2016 - 22nd European Conference on Artificial Intelligence(ECAI)　1730-1731　2016

    Publisher: IOS Press

    DOI： 10.3233/978-1-61499-672-9-1730 　

Show all ︎Show first 5

Misc. 16

  1. タスク算術の誤差項とその解釈

    李 宰成, 中石 海, 鈴木潤, 横井 祥

    言語処理学会年次大会発表論文集　32th　2026/03

  2. Mambaの‘‘処理時間’’はヒトの読み時間と符号する

    山本 悠士, 磯野, 真之介, 河原 吉伸, 横井 祥

    言語処理学会年次大会発表論文集　32th　2026/03

  3. なぜ平均プーリングはうまく動くのか？テキスト埋め込みの二次統計量の崩壊の定量化

    原 知正, 栗田 宙人, 今泉 允聡, 乾 健太郎, 横井 祥

    言語処理学会年次大会発表論文集　32th　2026/03

  4. 単体複体を用いた次単語予測分布の幾何的解釈

    石峯 拓海, 日野 英逸, 横井 祥

    言語処理学会年次大会発表論文集　32th　2026/03

  5. SoftMatcha 2: 1兆語規模コーパスの超高速かつ柔らかい検索

    米田 優峻, 鴨田 豪, 松下 祐介, 末永 幸平, 秋葉 拓哉, 和賀 正樹, 横井 祥

    言語処理学会年次大会発表論文集　32th　2026/03

  6. 言語モデルに線形に内在する階層的概念

    坂田 将樹, Benjamin Heinzerling, 伊藤 拓海, 横井 祥, 乾 健太郎

    言語処理学会年次大会発表論文集　32th　2026/03

  7. 言語モデルの最終隠れ状態のソフト分割可能な単体複体としての分析

    石峯拓海, 日野英逸, 横井祥

    第28回情報論的学習理論ワークショップ (IBIS)　2025/11

  8. なぜ一次モーメント情報のみ残したテキスト埋め込みはうまく動くのか？：単語埋め込み集合における二次モーメント情報の崩壊の分析

    原知正, 栗田宙人, 今泉允聡, 乾健太郎, 横井祥

    第28回情報論的学習理論ワークショップ (IBIS)　2025/11

  9. p進数を用いた単語埋め込みについて

    三原朋樹, 石川勲, 横井祥

    第28回情報論的学習理論ワークショップ (IBIS)　2025/11

  10. 事前学習済み言語モデルによるエンティティの概念化

    坂田将樹, 坂田将樹, 横井祥, 横井祥, HEINZERLING Benjamin, HEINZERLING Benjamin, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　29th　2023

    ISSN： 2188-4420

  11. 単語ベクトルの長さは意味の強さを表す

    大山百々勢, 大山百々勢, 横井祥, 横井祥, 下平英寿, 下平英寿

    言語処理学会年次大会発表論文集　28th　2022

    ISSN： 2188-4420

  12. Transformerの文脈を混ぜる作用と混ぜない作用

    小林悟郎, 栗林樹生, 栗林樹生, 横井祥, 横井祥, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集　27th　2021

    ISSN： 2188-4420

  13. 句の呼応と話題の一貫性に着目した低品質対話データの教師なしフィルタリング

    赤間怜奈, 鈴木潤, 横井祥, 乾健太郎

    言語処理学会年次大会発表論文集　26th　2020

    ISSN： 2188-4420

  14. 超球面上での最適輸送に基づく文類似性尺度

    横井祥, 高橋諒, 赤間怜奈, 鈴木潤, 乾健太郎

    言語処理学会年次大会発表論文集　26th　2020

    ISSN： 2188-4420

  15. Language-independent Dialogue Data Filtering for Neural Dialogue Response Generation

    赤間怜奈, 横井祥, 鈴木潤, 乾健太郎

    人工知能学会全国大会　34th　2020

  16. Optimal Transport Cost between Texts via Norm-Direction Decomposition

    横井祥, 高橋諒, 赤間怜奈, 鈴木潤, 乾健太郎

    人工知能学会全国大会　34th　2020

Show all ︎Show first 5

Books and Other Publications 4

  1. 言語の連続表現と最適輸送, システム/制御/情報 Vol. 70 No.9「最適輸送理論の広がり—物理・制御・情報・生命をつなぐ数理」特集号

    横井 祥

    一般社団法人 システム制御情報学会　2026/09

  2. 確率的機械学習：入門編 II — 非線形モデル —

    持橋 大地, 鈴木 大慈, 石黒 勝彦, 伊藤 伸志, 梶野 洸, 黒木 祐子, 小宮山 純平, 佐藤 竜馬, 鈴木 大慈, 包 含, 手嶋 毅志, 幡谷 龍一郎, 二見 太, 南 賢太郎, 持橋 大地, 横井 祥

    朝倉書店　2025/11

    ISBN: 9784254123043

  3. 確率的機械学習：入門編 I — 基礎と線形モデル —

    持橋 大地, 鈴木 大慈, 石黒 勝彦, 伊藤 伸志, 梶野 洸, 黒木 祐子, 小宮山 純平, 佐藤 竜馬, 鈴木 大慈, 包 含, 手嶋 毅志, 幡谷 龍一郎, 二見 太, 南 賢太郎, 持橋 大地, 横井 祥

    朝倉書店　2025/11

    ISBN: 9784254123036

  4. 言語の表現空間の形, 数理科学 2025年10月号 No.748「データの幾何学と機械学習-データの「近さ」や「繋がり」を捉える-」

    横井祥

    サイエンス社　2025/10

Presentations 3

  1. “Non-Logical” Capacities of Language Models Invited

    Sho Yokoi

    2026/01

  2. 「確率的なオウム」にできること，またそれがなぜできるのかについて Invited

    横井祥

    英語コーパス学会 (JAECS) 第51回大会　2025/09

  3. 大規模言語モデルを利用したコーパスの意味分析入門 — 文を超えた意味の計算 Invited

    横井祥

    英語コーパス学会 2025年度春季研究会・総会　2025/06

Research Projects 4

  1. 意味とデータとモデルを繋ぐ言語幾何学の創出

    横井 祥

    Offer Organization: 科学技術振興機構

    System: 創発的研究支援事業

    Institution: 国立国語研究所

    2024/10 - 2028/03

    More details Close

    言葉の持つ多種多様な「意味」の情報が、テキストを用いて学習したモデルの内部でどのように保持されているのかを表現するための、新しい数理基盤を構築します。とくに、意味に関連する諸概念・テキストデータの持つ統計量・モデルの内部表現の幾何的な構造の三者を繋ぐための新しい理論を構築します。またこれにより、ブラックボックスモデルに対する解釈性を上げ、機能や知識の追加や削除を安定して実現するための汎用的技法を提供します。

  2. Fronteers of Data Science by Probabilistic Description and Inference of Dynamics

    Offer Organization: Japan Society for the Promotion of Science

    System: Grants-in-Aid for Scientific Research

    Category: Grant-in-Aid for Transformative Research Areas (A)

    Institution: The Institute of Statistical Mathematics

    2022/06 - 2027/03

  3. Knowledge Inference System for Robots Bridging Commonsense Written by Language and Real World Observation

    Offer Organization: Japan Society for the Promotion of Science

    System: Grants-in-Aid for Scientific Research

    Category: Grant-in-Aid for Scientific Research (B)

    2022/04 - 2026/03

  4. 言葉が埋め込まれた空間の形と言葉の意味の接続

    横井 祥

    Offer Organization: 科学技術振興機構

    System: 戦略的創造研究推進事業 ACT-X

    Institution: 東北大学

    2020 - 2022

    More details Close

    単語ベクトルを基盤とした手法の発展により自然言語処理は著しい進化を遂げました。しかし文など単語よりも大きな単位のテキストの表現や比較方法は確立できておらず、言語処理システムの致命的なエラーの感知すら難しい状況です。本研究では単語ベクトルの持つ幾何学的情報を言語学的情報に帰着させ、さらに最適輸送を足がかりとして文に含まれる情報の差に鋭敏な文類似性尺度を構築することでこの問題の解決を目指します。