研究者詳細

顔写真

ヨコイ　シヨウ
横井　祥
Sho Yokoi
所属
言語ＡＩ研究センター
職名
准教授
学位

  • 博士（情報科学） （東北大学）

e-Rad 研究者番号
60888949
プロフィール

ほとんどすべての情報は、主催研究室の web サイト https://yokoi-lab.net/ もしくは個人ページ http://www.cl.ecei.tohoku.ac.jp/~yokoi/index_ja.html の方に記載してあります。

研究キーワード 2

  • 表現学習

  • 自然言語処理

受賞 14

  1. 第21回言語処理若手シンポジウム (YANS), 株式会社サイバーエージェント賞

    2026年8月　言語処理学会　パラメータ空間の幾何構造から見るタスク算術の失敗

  2. 第21回言語処理若手シンポジウム (YANS), 奨励賞

    2026年8月　言語処理学会　大規模言語モデルにおける文内Attentionメカニズムの分析

  3. 第21回言語処理若手シンポジウム (YANS), 奨励賞

    2026年8月　言語処理学会　単体複体を用いた言語モデルの出力空間の幾何的解釈

  4. 言語処理学会第32回年次大会 (NLP), 委員特別賞

    2026年3月　言語処理学会　なぜ平均プーリングはうまく動くのか？テキスト埋め込みの二次統計量の崩壊の定量化

  5. 言語処理学会第32回年次大会 (NLP), 優秀賞

    2026年3月　言語処理学会　SoftMatcha 2: 1兆語規模コーパスの超高速かつ柔らかい検索

  6. 言語処理学会第31回年次大会 (NLP), 委員特別賞

    2025年3月　言語処理学会　不均衡最適輸送を用いた意味変化検出

  7. 第27回情報論的学習理論ワークショップ (IBIS), 最優秀プレゼンテーション賞

    2024年11月　電子情報通信学会 情報論的学習理論と機械学習研究会　Zipf 白色化

  8. 言語処理学会第30回年次大会 (NLP), 委員特別賞

    2024年3月　言語処理学会　言語の固有次元を測る

  9. 言語処理学会第30回年次大会 (NLP), 委員特別賞

    2024年3月　言語処理学会　長距離相互作用する文脈依存言語における相転移現象 — 言語モデルの創発現象を統計力学の視点で理解する —

  10. 第25回情報論的学習理論ワークショップ (IBIS), 優秀プレゼンテーション賞ファイナリスト

    2022年11月　電子情報通信学会 情報論的学習理論と機械学習研究会　単語ベクトルの長さはKL情報量で解釈可能な意味の強さを表す

  11. 言語処理学会第28回年次大会 委員特別賞

    2022年3月　言語処理学会　Transformerにおけるフィードフォワードネットの作用

  12. 言語処理学会 2021年度 論文賞

    2022年3月　言語処理学会　訓練事例の影響の軽量な推定

  13. 言語処理学会第27回年次大会 委員特別賞

    2021年3月　言語処理学会　単語埋め込みによる論理演算

  14. 言語処理学会第27回年次大会 優秀賞

    2021年3月　言語処理学会　単語埋め込みの確率的等方化

︎全件表示 ︎最初の5件までを表示

論文 41

  1. SoftMatcha 2: A Fast and Soft Pattern Matcher for Trillion-Scale Corpora 国際誌 査読有り

    Masataka Yoneda, Yusuke Matsushita, Go Kamoda, Kohei Suenaga, Takuya Akiba, Masaki Waga, Sho Yokoi

    Proceedings of the 43rd International Conference on Machine Learning (ICML)　149430-149463　2026年7月

    DOI： 10.48550/arXiv.2602.10908 　

  2. Timesteps of Mamba Align with Human Reading Times 国際誌 査読有り

    Yuji Yamamoto, Shinnosuke Isono, Yoshinobu Kawahara, Sho Yokoi

    Findings of the Association for Computational Linguistics: ACL 2026　31820-31832　2026年7月

    DOI： 10.18653/v1/2026.findings-acl.1592 　

  3. Why Mean Pooling Works: Quantifying Second-Order Collapse in Text Embeddings 国際誌 国際共著 査読有り

    Tomomasa Hara, Hiroto Kurita, Masaaki Imaizumi, Kentaro Inui, Sho Yokoi

    Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL)　47180-47201　2026年7月

    DOI： 10.18653/v1/2026.acl-long.2183 　 10.48550/arXiv.2604.27398 　

  4. Linear Representations of Hierarchical Concepts in Language Models.

    Masaki Sakata, Benjamin Heinzerling, Takumi Ito, Sho Yokoi, Kentaro Inui

    CoRR　abs/2604.07886　2026年4月

    DOI： 10.48550/arXiv.2604.07886 　

  5. On Entity Identification in Language Models 国際誌 国際共著 査読有り

    Masaki Sakata, Sho Yokoi, Benjamin Heinzerling, Takumi Ito, Kentaro Inui

    Findings of the Association for Computational Linguistics: ACL 2025　16717-16741　2025年7月

    DOI： 10.18653/v1/2025.findings-acl.858 　 10.48550/arXiv.2506.02701 　

  6. Quantifying Lexical Semantic Shift via Unbalanced Optimal Transport 国際誌 査読有り

    Ryo Kishino, Hiroaki Yamagiwa, Ryo Nagata, Sho Yokoi, Hidetoshi Shimodaira

    Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (ACL)　15913-15933　2025年7月

    DOI： 10.18653/v1/2025.acl-long.774 　 10.48550/arXiv.2412.12569 　

  7. SoftMatcha: A Soft and Fast Pattern Matcher for Billion-Scale Corpus Searches 国際誌 国際共著 査読有り

    Hiroyuki Deguchi, Go Kamoda, Yusuke Matsushita, Chihiro Taguchi, Kohei Suenaga, Masaki Waga, Sho Yokoi

    The Thirteenth International Conference on Learning Representations (ICLR)　1-26　2025年4月

    DOI： 10.48550/arXiv.2503.03703 　

  8. TAID: Temporally Adaptive Interpolated Distillation for Efficient Knowledge Transfer in Language Models 国際誌 査読有り

    Makoto Shing, Kou Misaki, Han Bao, Sho Yokoi, Takuya Akiba

    The Thirteenth International Conference on Learning Representations (ICLR)　1-24　2025年4月

    DOI： 10.48550/arXiv.2501.16937 　

  9. Zipfian Whitening 国際誌 査読有り

    Sho Yokoi, Han Bao, Hiroto Kurita, Hidetoshi Shimodaira

    Advances in Neural Information Processing Systems 37 (NeurIPS)　122259-122291　2024年12月

    DOI： 10.52202/079017-3885 　 10.48550/arXiv.2411.00680 　

  10. Subspace Representations for Soft Set Operations and Sentence Similarities 国際誌 査読有り

    Yoichi Ishibashi, Sho Yokoi, Katsuhito Sudoh, Satoshi Nakamura

    Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL)　3512-3524　2024年6月

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2024.naacl-long.192 　 10.48550/arXiv.2210.13034 　

  11. Analyzing Feed-Forward Blocks in Transformers through the Lens of Attention Maps 国際誌 国際共著 査読有り

    Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui

    The Twelfth International Conference on Learning Representations (ICLR)　1-37　2024年4月

    DOI： 10.48550/arXiv.2302.00456 　

  12. Contrastive Learning-based Sentence Encoders Implicitly Weight Informative Words 国際誌 国際共著 査読有り

    Hiroto Kurita, Goro Kobayashi, Sho Yokoi, Kentaro Inui

    Findings of the Association for Computational Linguistics: EMNLP 2023　10932-10947　2023年12月

    DOI： 10.18653/v1/2023.findings-emnlp.729 　 10.48550/arXiv.2310.15921 　

  13. Norm of word embedding encodes information gain 国際誌 査読有り

    Momose Oyama, Sho Yokoi, Hidetoshi Shimodaira

    Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing (EMNLP)　2108-2130　2023年12月

    DOI： 10.18653/v1/2023.emnlp-main.131 　 10.48550/arXiv.2212.09663 　

    詳細を見る 詳細を閉じる

    Distributed representations of words encode lexical semantic information, but how is that information encoded in word embeddings? Focusing on the skip-gram with negative-sampling method, we show theoretically and experimentally that the squared norm of word embedding encodes the information gain defined by the Kullback-Leibler divergence of the co-occurrence distribution of a word to the unigram distribution of the corpus. Furthermore, through experiments on tasks of keyword extraction, hypernym prediction, and part-of-speech discrimination, we confirmed that the KL divergence and the squared norm of embedding work as a measure of the informativeness of a word provided that the bias caused by word frequency is adequately corrected.

  14. Improving word mover’s distance by leveraging self-attention matrix 国際誌 査読有り

    Hiroaki Yamagiwa, Sho Yokoi, Hidetoshi Shimodaira

    Findings of the Association for Computational Linguistics: EMNLP 2023　11160　(11183)　2023年12月

    DOI： 10.18653/v1/2023.findings-emnlp.746 　 10.48550/arXiv.2211.06229 　

  15. Unbalanced Optimal Transport for Unbalanced Word Alignment 国際誌 査読有り

    Yuki Arase, Han Bao, Sho Yokoi

    Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics (ACL)　3966-3986　2023年7月

    DOI： 10.18653/v1/2023.acl-long.219 　 10.48550/arXiv.2306.04116 　

  16. Transformer Language Models Handle Word Frequency in Prediction Head 国際誌 国際共著 査読有り

    Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui

    Findings of the Association for Computational Linguistics: ACL 2023　4523-4535　2023年7月

    DOI： 10.18653/v1/2023.findings-acl.276 　 10.48550/arXiv.2305.18294 　

  17. Why is sentence similarity benchmark not predictive of application-oriented task performance? 国際誌 国際共著 査読有り

    Kaori Abe, Sho Yokoi, Tomoyuki Kajiwara, Kentaro Inui

    Proceedings of the 3rd Workshop on Evaluation and Comparison of NLP Systems　70-87　2022年11月

    DOI： 10.18653/v1/2022.eval4nlp-1.8 　

  18. Subspace-based Set Operations on a Pre-trained Word Embedding Space

    Yoichi Ishibashi, Sho Yokoi, Katsuhito Sudoh, Satoshi Nakamura

    CoRR　abs/2210.13034　2022年

    DOI： 10.48550/arXiv.2210.13034 　

  19. Instance-Based Neural Dependency Parsing 査読有り

    Hiroki Ouchi, Jun Suzuki, Sosuke Kobayashi, Sho Yokoi, Tatsuki Kuribayashi, Masashi Yoshikawa, Kentaro Inui

    Transactions of the Association for Computational Linguistics　9　1493-1507　2021年12月17日

    出版者・発行元： MIT Press - Journals

    DOI： 10.1162/tacl_a_00439 　

    eISSN：2307-387X

    詳細を見る 詳細を閉じる

    Abstract Interpretable rationales for model predictions are crucial in practical applications. We develop neural models that possess an interpretable inference process for dependency parsing. Our models adopt instance-based inference, where dependency edges are extracted and labeled by comparing them to edges in a training set. The training edges are explicitly used for the predictions; thus, it is easy to grasp the contribution of each edge to the predictions. Our experiments show that our instance-based models achieve competitive accuracy with standard neural models and have the reasonable plausibility of instance-based explanations.

  20. Incorporating Residual and Normalization Layers into Analysis of Masked Language Models.

    Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui

    CoRR　abs/2109.07152　2021年

  21. Instance-Based Neural Dependency Parsing.

    Hiroki Ouchi, Jun Suzuki, Sosuke Kobayashi, Sho Yokoi, Tatsuki Kuribayashi, Masashi Yoshikawa, Kentaro Inui

    Transactions of the Association for Computational Linguistics　9　1493-1507　2021年

    DOI： 10.1162/tacl_a_00439 　

  22. Computationally Efficient Wasserstein Loss for Structured Labels

    Ayato Toyokuni, Sho Yokoi, Hisashi Kashima, Makoto Yamada

    CoRR　abs/2103.00899　2021年

  23. 訓練事例の影響の軽量な推定 査読有り

    小林 颯介, 横井 祥, 鈴木 潤, 乾 健太郎

    自然言語処理　28　(2)　573-597　2021年

    出版者・発行元： 一般社団法人 言語処理学会

    DOI： 10.5715/jnlp.28.573 　

    ISSN：1340-7619

    eISSN：2185-8314

    詳細を見る 詳細を閉じる

    機械学習モデルの挙動の解釈において，各訓練事例がもたらす影響を理解することは重要である．単純にはデータセットから対象の訓練事例を除いて再訓練してモデルの変化を解析することもできるが，必要な計算量が非常に大きくなってしまい，特に膨大なパラメータのニューラルネットワークモデルへの適用が困難であった．本論文では，ニューラルネットワークモデルへの各訓練事例の影響の推定手法として，既存手法に比べて非常に効率的な方法を提案する．提案手法では，各事例の学習時に dropout を用いて，事例ごとに固有のサブネットワークのパラメータを更新せずに訓練を進めることで，訓練終了後には各訓練事例の影響を受けていないサブネットワークを自由に抽出し，それを影響値の推定に活かすことができる．実験では，提案手法を，文書分類と画像物体認識において，BERT および VGGNet に適用し訓練事例への紐付けを行うことで，解釈性の高い形でモデルの予測を解析できることを示した．また，サブネットワークの学習曲線の解析やデータフィルタリングの実験を通して，提案手法が事例間の関係性を適切に捉えていることを定量的に示した．

  24. Incorporating Residual and Normalization Layers into Analysis of Masked Language Models 査読有り

    Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui

    Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing　4547-4568　2021年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2021.emnlp-main.373 　

  25. Computationally Efficient Wasserstein Loss for Structured Labels 査読有り

    Ayato Toyokuni, Sho Yokoi, Hisashi Kashima, Makoto Yamada

    Proceedings of the 16th Conference of the European Chapter of the Association for Computational Linguistics: Student Research Workshop　1-7　2021年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2021.eacl-srw.1 　

  26. Evaluation of Similarity-based Explanations 査読有り

    Kazuaki Hanawa, Sho Yokoi, Satoshi Hara, Kentaro Inui

    The Ninth International Conference on Learning Representations (ICLR)　2021年

  27. Modeling Event Salience in Narratives via Barthes' Cardinal Functions

    Takaki Otake, Sho Yokoi, Naoya Inoue, Ryo Takahashi, Tatsuki Kuribayashi, Kentaro Inui

    CoRR　abs/2011.01785　2020年

  28. Word Rotator's Distance: Decomposing Vectors Gives Better Representations

    Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, Kentaro Inui

    CoRR　abs/2004.15003　2020年

  29. Utterance Pair Scoring for Noisy Dialogue Data Filtering

    Reina Akama, Sho Yokoi, Jun Suzuki, Kentaro Inui

    CoRR　abs/2004.14008　2020年

  30. Efficient Estimation of Influence of a Training Instance 査読有り

    Sosuke Kobayashi, Sho Yokoi, Jun Suzuki, Kentaro Inui

    Proceedings of SustaiNLP: Workshop on Simple and Efficient Natural Language Processing　2020年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2020.sustainlp-1.6 　

  31. Attention is Not Only a Weight: Analyzing Transformers with Vector Norms 査読有り

    Goro Kobayashi, Tatsuki Kuribayashi, Sho Yokoi, Kentaro Inui

    Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)　7057-7075　2020年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2020.emnlp-main.574 　

  32. Word Rotator's Distance 査読有り

    Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, Kentaro Inui

    Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)　2944-2960　2020年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2020.emnlp-main.236 　

  33. Filtering Noisy Dialogue Corpora by Connectivity and Content Relatedness 査読有り

    Reina Akama, Sho Yokoi, Jun Suzuki, Kentaro Inui

    Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)　941-958　2020年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2020.emnlp-main.68 　

  34. Modeling Event Salience in Narratives via Barthes' Cardinal Functions 査読有り

    Takaki Otake, Sho Yokoi, Naoya Inoue, Ryo Takahashi, Tatsuki Kuribayashi, Kentaro Inui

    Proceedings of the 28th International Conference on Computational Linguistics (COLING)　1784-1794　2020年

    出版者・発行元： International Committee on Computational Linguistics

    DOI： 10.18653/v1/2020.coling-main.160 　

  35. Instance-Based Learning of Span Representations: A Case Study through Named Entity Recognition. 査読有り

    Hiroki Ouchi, Jun Suzuki, Sosuke Kobayashi, Sho Yokoi, Tatsuki Kuribayashi, Ryuto Konno, Kentaro Inui

    Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL)　6452-6459　2020年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2020.acl-main.575 　

  36. Pointwise HSIC: A Linear-Time Kernelized Co-occurrence Norm for Sparse Linguistic Expressions

    Sho Yokoi, Sosuke Kobayashi, Kenji Fukumizu, Jun Suzuki, Kentaro Inui

    CoRR　abs/1809.00800　2018年

  37. Pointwise HSIC: A Linear-Time Kernelized Co-occurrence Norm for Sparse Linguistic Expressions 査読有り

    Sho Yokoi, Sosuke Kobayashi, Kenji Fukumizu, Jun Suzuki, Kentaro Inui

    Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing (EMNLP)　1763-1775　2018年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/d18-1203 　

  38. Unsupervised Learning of Style-sensitive Word Vectors 査読有り

    Reina Akama, Kento Watanabe, Sho Yokoi, Sosuke Kobayashi, Kentaro Inui

    Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (ACL)　572-578　2018年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/P18-2091 　

  39. Learning Co-Substructures by Kernel Dependence Maximization 査読有り

    Sho Yokoi, Daichi Mochihashi, Ryo Takahashi, Naoaki Okazaki, Kentaro Inui

    Proceedings of the 26th International Joint Conference on Artificial Intelligence (IJCAI)　3329-3335　2017年

    出版者・発行元： ijcai.org

    DOI： 10.24963/ijcai.2017/465 　

  40. Link Prediction in Sparse Networks by Incidence Matrix Factorization 査読有り

    Sho Yokoi, Hiroshi Kajino, Hisashi Kashima

    J. Inf. Process.　25　477-485　2017年

    DOI： 10.2197/ipsjjip.25.477 　

  41. Link Prediction by Incidence Matrix Factorization

    Sho Yokoi, Hiroshi Kajino, Hisashi Kashima

    ECAI 2016 - 22nd European Conference on Artificial Intelligence(ECAI)　1730-1731　2016年

    出版者・発行元： IOS Press

    DOI： 10.3233/978-1-61499-672-9-1730 　

︎全件表示 ︎最初の5件までを表示

MISC 16

  1. タスク算術の誤差項とその解釈

    李 宰成, 中石 海, 鈴木潤, 横井 祥

    言語処理学会年次大会発表論文集　32th　2026年3月

  2. Mambaの‘‘処理時間’’はヒトの読み時間と符号する

    山本 悠士, 磯野, 真之介, 河原 吉伸, 横井 祥

    言語処理学会年次大会発表論文集　32th　2026年3月

  3. なぜ平均プーリングはうまく動くのか？テキスト埋め込みの二次統計量の崩壊の定量化

    原 知正, 栗田 宙人, 今泉 允聡, 乾 健太郎, 横井 祥

    言語処理学会年次大会発表論文集　32th　2026年3月

  4. 単体複体を用いた次単語予測分布の幾何的解釈

    石峯 拓海, 日野 英逸, 横井 祥

    言語処理学会年次大会発表論文集　32th　2026年3月

  5. SoftMatcha 2: 1兆語規模コーパスの超高速かつ柔らかい検索

    米田 優峻, 鴨田 豪, 松下 祐介, 末永 幸平, 秋葉 拓哉, 和賀 正樹, 横井 祥

    言語処理学会年次大会発表論文集　32th　2026年3月

  6. 言語モデルに線形に内在する階層的概念

    坂田 将樹, Benjamin Heinzerling, 伊藤 拓海, 横井 祥, 乾 健太郎

    言語処理学会年次大会発表論文集　32th　2026年3月

  7. 言語モデルの最終隠れ状態のソフト分割可能な単体複体としての分析

    石峯拓海, 日野英逸, 横井祥

    第28回情報論的学習理論ワークショップ (IBIS)　2025年11月

  8. なぜ一次モーメント情報のみ残したテキスト埋め込みはうまく動くのか？：単語埋め込み集合における二次モーメント情報の崩壊の分析

    原知正, 栗田宙人, 今泉允聡, 乾健太郎, 横井祥

    第28回情報論的学習理論ワークショップ (IBIS)　2025年11月

  9. p進数を用いた単語埋め込みについて

    三原朋樹, 石川勲, 横井祥

    第28回情報論的学習理論ワークショップ (IBIS)　2025年11月

  10. 事前学習済み言語モデルによるエンティティの概念化

    坂田将樹, 坂田将樹, 横井祥, 横井祥, HEINZERLING Benjamin, HEINZERLING Benjamin, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　29th　2023年

    ISSN： 2188-4420

  11. 単語ベクトルの長さは意味の強さを表す

    大山百々勢, 大山百々勢, 横井祥, 横井祥, 下平英寿, 下平英寿

    言語処理学会年次大会発表論文集　28th　2022年

    ISSN： 2188-4420

  12. Transformerの文脈を混ぜる作用と混ぜない作用

    小林悟郎, 栗林樹生, 栗林樹生, 横井祥, 横井祥, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集　27th　2021年

    ISSN： 2188-4420

  13. 句の呼応と話題の一貫性に着目した低品質対話データの教師なしフィルタリング

    赤間怜奈, 鈴木潤, 横井祥, 乾健太郎

    言語処理学会年次大会発表論文集　26th　2020年

    ISSN： 2188-4420

  14. 超球面上での最適輸送に基づく文類似性尺度

    横井祥, 高橋諒, 赤間怜奈, 鈴木潤, 乾健太郎

    言語処理学会年次大会発表論文集　26th　2020年

    ISSN： 2188-4420

  15. ニューラル対話応答生成のための言語非依存な低品質対話データフィルタリング法の提案と分析

    赤間怜奈, 横井祥, 鈴木潤, 乾健太郎

    人工知能学会全国大会　34th　2020年

  16. 単語埋め込みのノルムと方向ベクトルを区別した文間最適輸送コスト

    横井祥, 高橋諒, 赤間怜奈, 鈴木潤, 乾健太郎

    人工知能学会全国大会　34th　2020年

︎全件表示 ︎最初の5件までを表示

書籍等出版物 4

  1. 言語の連続表現と最適輸送, システム/制御/情報 Vol. 70 No.9「最適輸送理論の広がり—物理・制御・情報・生命をつなぐ数理」特集号

    横井 祥

    一般社団法人 システム制御情報学会　2026年9月

  2. 確率的機械学習：入門編 II — 非線形モデル —

    持橋 大地, 鈴木 大慈, 石黒 勝彦, 伊藤 伸志, 梶野 洸, 黒木 祐子, 小宮山 純平, 佐藤 竜馬, 鈴木 大慈, 包 含, 手嶋 毅志, 幡谷 龍一郎, 二見 太, 南 賢太郎, 持橋 大地, 横井 祥

    朝倉書店　2025年11月

    ISBN: 9784254123043

  3. 確率的機械学習：入門編 I — 基礎と線形モデル —

    持橋 大地, 鈴木 大慈, 石黒 勝彦, 伊藤 伸志, 梶野 洸, 黒木 祐子, 小宮山 純平, 佐藤 竜馬, 鈴木 大慈, 包 含, 手嶋 毅志, 幡谷 龍一郎, 二見 太, 南 賢太郎, 持橋 大地, 横井 祥

    朝倉書店　2025年11月

    ISBN: 9784254123036

  4. 言語の表現空間の形, 数理科学 2025年10月号 No.748「データの幾何学と機械学習-データの「近さ」や「繋がり」を捉える-」

    横井祥

    サイエンス社　2025年10月

講演・口頭発表等 3

  1. 言語モデルを支える「非」論理的能力 招待有り

    横井 祥

    科学基礎論学会 2025年度研究例会 (ロジックフェスタ2026)　2026年1月

  2. 「確率的なオウム」にできること，またそれがなぜできるのかについて 招待有り

    横井祥

    英語コーパス学会 (JAECS) 第51回大会　2025年9月

  3. 大規模言語モデルを利用したコーパスの意味分析入門 — 文を超えた意味の計算 招待有り

    横井祥

    英語コーパス学会 2025年度春季研究会・総会　2025年6月

共同研究・競争的資金等の研究課題 4

  1. 意味とデータとモデルを繋ぐ言語幾何学の創出

    横井 祥

    2024年10月 ～ 2028年3月

    詳細を見る 詳細を閉じる

    言葉の持つ多種多様な「意味」の情報が、テキストを用いて学習したモデルの内部でどのように保持されているのかを表現するための、新しい数理基盤を構築します。とくに、意味に関連する諸概念・テキストデータの持つ統計量・モデルの内部表現の幾何的な構造の三者を繋ぐための新しい理論を構築します。またこれにより、ブラックボックスモデルに対する解釈性を上げ、機能や知識の追加や削除を安定して実現するための汎用的技法を提供します。

  2. ダイナミクスの確率的記述と推論により拓く新しいデータ科学

    福水 健次, 下平 英寿, 河原 吉伸, 横井 祥

    提供機関：Japan Society for the Promotion of Science

    制度名：Grants-in-Aid for Scientific Research

    研究種目：Grant-in-Aid for Transformative Research Areas (A)

    研究機関：The Institute of Statistical Mathematics

    2022年6月 ～ 2027年3月

  3. 言語で記述された常識と実世界の観察を統合するロボットのための知識推論システム

    吉野 幸一郎, 須藤 克仁, 横井 祥, 中村 泰

    提供機関：Japan Society for the Promotion of Science

    制度名：Grants-in-Aid for Scientific Research

    研究種目：Grant-in-Aid for Scientific Research (B)

    2022年4月 ～ 2026年3月

  4. 言葉が埋め込まれた空間の形と言葉の意味の接続

    横井 祥

    2020年 ～ 2022年

    詳細を見る 詳細を閉じる

    単語ベクトルを基盤とした手法の発展により自然言語処理は著しい進化を遂げました。しかし文など単語よりも大きな単位のテキストの表現や比較方法は確立できておらず、言語処理システムの致命的なエラーの感知すら難しい状況です。本研究では単語ベクトルの持つ幾何学的情報を言語学的情報に帰着させ、さらに最適輸送を足がかりとして文に含まれる情報の差に鋭敏な文類似性尺度を構築することでこの問題の解決を目指します。