研究者詳細

顔写真

スズキ　ジユン
鈴木　潤
Jun Suzuki
所属
言語ＡＩ研究センター
職名
教授
学位

  • 博士（工学）（奈良先端科学技術大学院大学）

  • 修士（工学）（慶應義塾大学）

経歴 7

  • 2023年10月 ～ 継続中
    東北大学　言語AI研究センター　センター長・教授

  • 2017年4月 ～ 継続中
    理化学研究所　革新知能統合研究センター　客員研究員

  • 2020年7月 ～ 2023年9月
    東北大学　データ駆動科学・AI教育研究センター　教授

  • 2020年4月 ～ 2022年4月
    Google LLC　Visiting Researcher

  • 2018年4月 ～ 2020年6月
    東北大学　情報科学研究科　准教授

  • 2018年4月 ～ 2020年3月
    日本電信電話株式会社　コミュニケーション科学基礎研究所　リサーチプロフェッサー

  • 2001年4月 ～ 2018年3月
    日本電信電話株式会社　コミュニケーション科学基礎研究所　主任研究員（特別研究員）

︎全件表示 ︎最初の5件までを表示

委員歴 11

  • ACL Rolling Review　Editor-in-Chief

    2023年3月 ～ 継続中

  • 言語処理学会　理事

    2022年4月 ～ 継続中

  • 言語処理学会 代議員

    2018年4月 ～ 2022年3月

  • 言語処理学会　年次大会 プログラム委員（NLP2018. NLP2019：大会賞担当，NLP2020：副委員長，NLP2021：委員長, NLP2022：アドバイザー）

    2017年 ～ 2022年3月

  • 情報処理学会　東北支部 庶務幹事

    2020年 ～ 2022年

  • EMNLP-2018 Machine Learning Area Chair

    ～ 2018年

  • ACL-2018 Machine Learning Senior Area Chair

    ～ 2018年

  • Computational Linguistics Journal Editorial Board

    2015年1月 ～ 2017年12月

  • IJCNLP-2017 Machine Learning Area Chair

    ～ 2017年

  • 言語処理学会　言語処理学会論文誌 編集委員

    2013年8月 ～ 2014年8月

  • ACL-2009 Statistical Machine Learning Methods Area Chair

    ～ 2009年

︎全件表示 ︎最初の5件までを表示

所属学協会 4

  • 人工知能学会

    2020年6月 ～ 継続中

  • Association for Computational Linguistics

    2003年 ～ 継続中

  • 情報処理学会

    2001年 ～ 継続中

  • 言語処理学会

    2001年 ～ 継続中

研究キーワード 10

  • 説明可能AI

  • 文法誤り訂正

  • 言語生成

  • モデル縮約

  • 機械翻訳

  • 単語分散表現

  • 深層学習

  • 半教師あり学習

  • 機械学習

  • 自然言語処理

研究分野 2

  • 情報通信 / 知能情報学 / 機械学習

  • 情報通信 / 知能情報学 / 自然言語処理

受賞 53

  1. 言語処理学会第30回年次大会, 委員特別賞

    2024年3月　言語処理学会　大規模視覚言語モデルに関する指示追従能力の検証

  2. 言語処理学会第30回年次大会, 委員特別賞

    2024年3月　言語処理学会　大規模言語モデル事前学習の安定化

  3. 言語処理学会第30回年次大会 委員特別賞

    2024年3月　言語処理学会　Integrated Gradientsにおける理想の積分ステップ数はインスタンス毎に異なる

  4. 言語処理学会第30回年次大会 優秀賞

    2024年3月　言語処理学会　InstructDoc: 自然言語指示に基づく視覚的文書理解

  5. ACL Student Research Workshop (ACL-SRW 2023) Best Paper Award

    2023年7月　Association of Computational Linguistics

  6. 言語処理学会2022年度最優秀論文賞

    2023年3月　言語処理学会　負例を厳選した対話応答選択による対話応答生成システムの評価

  7. 言語処理学会第29回年次大会, 委員特別賞

    2023年3月　言語処理学会　計算資源が限られた複数組織での出力選択による協働の検討

  8. 言語処理学会第29回年次大会, 高電社賞

    2023年3月　言語処理学会　文単位のNbest候補制約に基づく文書翻訳

  9. 言語処理学会第29回年次大会, 日本電気賞

    2023年3月　言語処理学会　計算資源が限られた複数組織での出力選択による協働の検討

  10. 言語処理学会第29回年次大会, 言語資源賞

    2023年3月　言語処理学会　日本語日常対話コーパスの構築

  11. 言語処理学会第28回年次大会 委員特別賞

    2022年3月　言語処理学会　JParaCrawl v3.0: 大規模日英対訳コーパス

  12. 言語処理学会第28回年次大会 優秀賞

    2022年3月　言語処理学会　論述リビジョンのためのメタ評価基盤

  13. 言語処理学会第28回年次大会 優秀賞

    2022年3月　言語処理学会　Transformerを多層にする際の勾配消失問題と解決法について

  14. 言語処理学会第28回年次大会 最優秀賞

    2022年3月　言語処理学会　ニューラル言語モデルの効率的な学習に向けた代表データ集合の獲得

  15. 言語処理学会 2021年度論文賞

    2022年3月　言語処理学会　訓練事例の影響の軽量な推定

  16. AAMT 長尾賞

    2021年6月　アジア太平洋機械翻訳協会　Team Tohoku-AIP-NTT at WMT-2020

  17. 言語処理学会 第27回年次大会 委員特別賞

    2021年3月　言語処理学会　対話システムの矛盾応答の生成に対する脆弱性の分析

  18. 言語処理学会 第27回年次大会 委員特別賞

    2021年3月　言語処理学会　オープンドメイン質問応答における解答可能性判別の役割

  19. 言語処理学会 第27回年次大会 スポンサー賞（デンソーアイティーラボラトリ賞）

    2021年3月　言語処理学会　単語埋め込みの決定的縮約

  20. 言語処理学会 第27回年次大会 優秀賞

    2021年3月　言語処理学会　単語埋め込みの決定的縮約

  21. 言語処理学会 論文誌 最優秀論文賞

    2021年3月　言語処理学会　論述構造解析におけるスパン分散表現

  22. 第3回対話システムライブコンペティション 優秀賞

    2020年12月　人工知能学会　ILYS aoba bot: 大規模ニューラル応答生成モデルとルールベースを統合した雑談対話システム

  23. 人工知能学会 第34回全国大会 全国大会優秀賞

    2020年11月　人工知能学会　単語埋め込みのノルムと方向ベクトルを区別した文間最適輸送コスト

  24. 言語処理学会 第26回年次大会 優秀賞

    2020年3月　言語処理学会　大規模疑似データを用いた高性能文法誤り訂正モデルの構築

  25. 言語処理学会 第26回年次大会 優秀賞

    2020年3月　言語処理学会　テキストを通して世界を見る:機械読解における常識的推論のための画像説明文の評価

  26. 言語処理学会 第26回年次大会 優秀賞

    2020年3月　言語処理学会　擬似タグと線形移動ベクトルを用いた単一モデルによる擬似モデルアンサンブル

  27. 言語処理学会 第26回年次大会 最優秀賞

    2020年3月　人工知能学会　ベクトル⻑に基づく自己注意機構の解析

  28. 言語処理学会 第26回年次大会 最優秀賞

    2020年3月　言語処理学会　超球面上での最適輸送に基づく文類似性尺度

  29. 人工知能学会 音声・言語理解と対話処理研究会（SLUD）第87回研究会 第10回対話システムシンポジウム 若手萌芽ポスター賞

    2019年12月　人工知能学会　負例を厳選した対話応答選択テストセット構築の試みと分析

  30. NLP若手の会 (YANS) 第14回シンポジウム 奨励賞受賞

    2019年8月　NLP若手の会　文法誤り訂正を拡張した新タスクの提案

  31. NLP若手の会 (YANS) 第14回シンポジウム 奨励賞受賞

    2019年8月　NLP若手の会　文ベクトルの最適輸送に基づく類似性尺度

  32. 情報処理学会 第241回自然言語処理研究会 優秀研究賞

    2019年8月　情報処理学会　クイズ解答タスクにおける大規模ラベルなしコーパスの利用: 言語モデルとデータ拡張

  33. ICLR-2019 Outstanding Reviewers

    2019年5月　International Conference on Representation Learning

  34. 言語処理学会 第25回年次大会 優秀賞

    2019年3月　言語処理学会　ExpertとImitatorの混合ネットワークによる大規模半教師あり学習

  35. NeurIPS-2018 Top 200 reviewers

    2018年12月　NeurIPS Foundation

  36. 人工知能学会 言語・音声理解と対話処理研究会 対話システムライブコンペティション 優秀賞

    2018年11月　人工知能学会　Zunkobot: 複数の知識モジュールを統合した雑談対話システム

  37. NLP若手の会（YANS）第13回シンポジウム 奨励賞

    2018年8月　NLP若手の会　サブワードに基づく単語ベクトルの再構築

  38. 言語処理学会第 24 回年次大会 優秀賞

    2018年3月　言語処理学会　ニューラルヘッドライン生成における誤生成問題の改善

  39. 言語処理学会第 23 回年次大会 最優秀賞

    2017年3月　言語処理学会　単語出現頻度予測機能付きRNNエンコーダデコーダモデル

  40. NAACL:HLT 2016 Best reviewers

    2016年6月　Association of Computational Linguistics

  41. 言語処理学会第 22 回年次大会 最優秀賞

    2016年3月　言語処理学会　単語分散表現に対する縮約モデリング

  42. ACL 2015 outstanding reviewers

    2015年7月　Association of Computational Linguistics

  43. 情報処理学会 自然言語処理研究会 優秀研究賞

    2015年5月　情報処理学会　逐次最適解更新による頑健な単語分散表現の学習方式

  44. 言語処理学会論文誌 論文賞

    2015年3月　言語処理学会　単語並べ替えと冠詞生成の同時逐次処理：日英機械翻訳への適用

  45. 人工知能学会 現場イノベーション賞 銀賞

    2014年6月　人工知能学会　しゃべってコンシェルにおける日本語質問応答技術の実用化

  46. 言語処理学会第 20 回年次大会 優秀賞

    2014年3月　言語処理学会　オラクル要約の列挙

  47. 言語処理学会第 20 回年次大会 最優秀賞

    2014年3月　言語処理学会　大規模素性集合に対する教師あり縮約モデリング

  48. 第40回 UBI 研究発表会 優秀論文賞

    2014年1月　情報処理学会　Boostingを用いた環境変化に頑健なWi-Fi屋内位置推定手法の提案

  49. 言語処理学会第17回年次大会 最優秀発表論文賞

    2011年3月　言語処理学会　L1正則化特徴選択に基づく大規模データ・特徴集合に適した半教師あり学習

  50. 言語処理学会第16回年次大会 優秀発表論文賞

    2010年3月　言語処理学会　大規模ラベルなしデータを利用した係り受け解析の性能検証

  51. 言語処理学会第14回年次大会 優秀発表論文賞

    2008年3月　言語処理学会　大規模ラベルなしデータを利用した言語解析器の性能検証

  52. 言語処理学会第13回年次大会 最優秀発表論文賞

    2007年3月　言語処理学会　データの分布特性を利用した半教師あり学習：言語解析ヘの適用

  53. 言語処理学会第12回年次大会 最優秀発表論文賞

    2006年3月　言語処理学会　誤り最小化に基づく条件付き確立場の学習：言語解析への適用

︎全件表示 ︎最初の5件までを表示

論文 147

  1. Evaluating Model Alignment with Human Perception: A Study on Shitsukan in LLMs and LVLMs. 査読有り

    Daiki Shiono, Ana Brassard, Yukiko Ishizuki, Jun Suzuki 0001

    COLING　11428-11444　2025年

  2. MQM-Chat: Multidimensional Quality Metrics for Chat Translation. 査読有り

    Yunmeng Li, Jun Suzuki 0001, Makoto Morishita, Kaori Abe, Kentaro Inui

    COLING　3283-3299　2025年

  3. Document-level Translation with LLM Reranking: Team-J at WMT 2024 General Translation Task. 査読有り

    Keito Kudo, Hiroyuki Deguchi, Makoto Morishita, Ryo Fujii, Takumi Ito, Shintaro Ozaki, Koki Natsumi, Kai Sato, Kazuki Yano, Ryosuke Takahashi, Subaru Kimura, Tomomasa Hara, Yusuke Sakai 0010, Jun Suzuki 0001

    Proceedings of the Ninth Conference on Machine Translation(WMT)　210-226　2024年

    出版者・発行元： Association for Computational Linguistics

  4. Detecting Response Generation Not Requiring Factual Judgment. 査読有り

    Ryohei Kamei, Daiki Shiono, Reina Akama, Jun Suzuki 0001

    Proceedings of the 2024 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies: Student Research Workshop　116-123　2024年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2024.naacl-srw.13 　

  5. Pruning Multilingual Large Language Models for Multilingual Inference. 査読有り

    Hwichan Kim, Jun Suzuki 0001, Tosho Hirasawa, Mamoru Komachi

    Findings of the Association for Computational Linguistics: EMNLP 2024　9921-9942　2024年

    出版者・発行元： Association for Computational Linguistics

  6. The Impact of Integration Step on Integrated Gradients. 査読有り

    Masahiro Makino, Yuya Asazuma, Shota Sasaki, Jun Suzuki 0001

    Proceedings of the 18th Conference of the European Chapter of the Association for Computational Linguistics　279-289　2024年

    出版者・発行元： Association for Computational Linguistics

  7. Towards Automated Document Revision: Grammatical Error Correction, Fluency Edits, and Beyond. 査読有り

    Masato Mita, Keisuke Sakaguchi, Masato Hagiwara, Tomoya Mizumoto, Jun Suzuki 0001, Kentaro Inui

    Proceedings of the 19th Workshop on Innovative Use of NLP for Building Educational Applications(BEA)　251-265　2024年

    出版者・発行元： Association for Computational Linguistics

  8. STEP: Staged Parameter-Efficient Pre-training for Large Language Models. 査読有り

    Kazuki Yano, Takumi Ito, Jun Suzuki 0001

    Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics　607-614　2024年

    出版者・発行元： Association for Computational Linguistics

  9. InstructDoc: A Dataset for Zero-Shot Generalization of Visual Document Understanding with Instructions. 査読有り

    Ryota Tanaka, Taichi Iki, Kyosuke Nishida, Kuniko Saito, Jun Suzuki 0001

    Thirty-Eighth AAAI Conference on Artificial Intelligence(AAAI)　19071-19079　2024年

    出版者・発行元： AAAI Press

    DOI： 10.1609/aaai.v38i17.29874 　

  10. A Large Collection of Model-generated Contradictory Responses for Consistency-aware Dialogue Systems 査読有り

    Shiki Sato, Reina Akama, Jun Suzuki, Kentaro Inui

    Findings of the Association for Computational Linguistics ACL 2024　16047-16062　2024年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2024.findings-acl.949 　

  11. Achievements and Challenges in Japanese Question Answering: Insights from Quiz Competition Results 査読有り

    Tomoki Ariyama, Jun Suzuki, Masatoshi Suzuki, Ryota Tanaka, Reina Akama, Kyosuke Nishida

    Journal of Natural Language Processing　31　(1)　47-78　2024年

    出版者・発行元： Association for Natural Language Processing

    DOI： 10.5715/jnlp.31.47 　

    ISSN：1340-7619

    eISSN：2185-8314

  12. Aoba_v3 bot: a multimodal chatbot system combining rules and various response generation models 査読有り

    Shoji Moriya, Daiki Shiono, Riki Fujihara, Yosuke Kishinami, Subaru Kimura, Shusaku Sone, Reina Akama, Yuta Matsumoto, Jun Suzuki, Kentaro Inui

    Advanced Robotics　37　(21)　1-14　2023年8月1日

    出版者・発行元： Informa UK Limited

    DOI： 10.1080/01691864.2023.2240883 　

    ISSN：0169-1864

    eISSN：1568-5535

  13. Reducing the Cost: Cross-Prompt Pre-Finetuning for Short Answer Scoring. 査読有り

    Hiroaki Funayama, Yuya Asazuma, Yuichiroh Matsubayashi, Tomoya Mizumoto, Jun Suzuki, Kentaro Inui

    The 24th International Conference on Artificial Intelligence in Education (AIED2023)　78-89　2023年7月

    DOI： 10.1007/978-3-031-36272-9_7 　

  14. B2T Connection: Serving Stability and Performance in Deep Transformers. 査読有り

    Sho Takase, Shun Kiyono, Sosuke Kobayashi, Jun Suzuki

    ACL (Findings)　3078-3095　2023年7月

    DOI： 10.18653/v1/2023.findings-acl.192 　

  15. Hunt for Buried Treasures: Extracting Unclaimed Embodiments from Patent Specifications. 査読有り

    Chikara Hashimoto, Gautam Kumar, Shuichiro Hashimoto, Jun Suzuki

    ACL (industry)　25-36　2023年7月

    DOI： 10.18653/v1/2023.acl-industry.3 　

  16. Examining the effect of whitening on static and contextualized word embeddings. 査読有り

    Shota Sasaki, Benjamin Heinzerling, Jun Suzuki, Kentaro Inui

    Inf. Process. Manag.　60　(3)　103272-103272　2023年5月

    DOI： 10.1016/j.ipm.2023.103272 　

  17. Extracting representative subset from extensive text data for training pre-trained language models 査読有り

    Jun Suzuki, Heiga Zen, Hideto Kazawa

    Information Processing & Management　60　(3)　103249-103249　2023年5月

    DOI： 10.1016/j.ipm.2022.103249 　

  18. SKIM at WMT 2023 General Translation Task. 査読有り

    Keito Kudo, Takumi Ito, Makoto Morishita, Jun Suzuki

    WMT　128-136　2023年

  19. Use of an AI-powered Rewriting Support Software in Context with Other Tools: A Study of Non-Native English Speakers. 査読有り

    Takumi Ito, Naomi Yamashita, Tatsuki Kuribayashi, Masatoshi Hidaka, Jun Suzuki, Ge Gao, Jack Jamieson, Kentaro Inui

    UIST　45-13　2023年

    DOI： 10.1145/3586183.3606810 　

  20. Assessing Step-by-Step Reasoning against Lexical Negation: A Case Study on Syllogism. 査読有り

    Mengyu Ye, Tatsuki Kuribayashi, Jun Suzuki, Goro Kobayashi, Hiroaki Funayama

    EMNLP　14753-14773　2023年

  21. Investigating the Effectiveness of Multiple Expert Models Collaboration. 査読有り

    Ikumi Ito, Takumi Ito, Jun Suzuki, Kentaro Inui

    EMNLP (Findings)　14393-14404　2023年

  22. A Challenging Multimodal Video Summary: Simultaneously Extracting and Generating Keyframe-Caption Pairs from Video. 査読有り

    Keito Kudo, Haruki Nagasawa, Jun Suzuki, Nobuyuki Shimizu

    EMNLP　7380-7402　2023年

  23. NT5 at WMT 2022 General Translation Task. 査読有り

    Makoto Morishita, Keito Kudo, Yui Oka, Katsuki Chousa, Shun Kiyono, Sho Takase, Jun Suzuki

    WMT　318-325　2022年12月

  24. Domain Adaptation of Machine Translation with Crowdworkers. 査読有り

    Makoto Morishita, Jun Suzuki, Masaaki Nagata

    EMNLP (Industry Track)　606-618　2022年12月

  25. Chat Translation Error Detection for Assisting Cross-lingual Communications 査読有り

    Yunmeng Li, Jun Suzuki, Makoto Morishita, Kaori Abe, Ryoko Tokuhisa, Ana Brassard, Kentaro Inui

    the 3rd Workshop on Evaluation and Comparison of NLP Systems (Eval4NLP)　88-95　2022年11月

    DOI： 10.18653/v1/2022.eval4nlp-1.9 　

  26. Bipartite-play Dialogue Collection for Practical Automatic Evaluation of Dialogue Systems. 査読有り

    Shiki Sato, Yosuke Kishinami, Hiroaki Sugiyama, Reina Akama, Ryoko Tokuhisa, Jun Suzuki

    AACL/IJCNLP 2022 (Student Research Workshop)　8-16　2022年11月

  27. Target-Guided Open-Domain Conversation Planning. 査読有り

    Yosuke Kishinami, Reina Akama, Shiki Sato, Ryoko Tokuhisa, Jun Suzuki, Kentaro Inui

    COLING　660-668　2022年10月

  28. Prompt Sensitivity of Language Model for Solving Programming Problems. 査読有り

    Atsushi Shirafuji, Takumi Ito, Makoto Morishita, Yuki Nakamura, Yusuke Oda, Jun Suzuki, Yutaka Watanobe

    SoMeT　346-359　2022年9月

    DOI： 10.3233/FAIA220264 　

  29. N-best Response-based Analysis of Contradiction-awareness in Neural Response Generation Models. 査読有り

    Shiki Sato, Reina Akama, Hiroki Ouchi, Ryoko Tokuhisa, Jun Suzuki, Kentaro Inui

    SIGDIAL　637-644　2022年9月

  30. Balancing Cost and Quality: An Exploration of Human-in-the-Loop Frameworks for Automated Short Answer Scoring. 査読有り

    Hiroaki Funayama, Tasuku Sato, Yuichiroh Matsubayashi, Tomoya Mizumoto, Jun Suzuki, Kentaro Inui

    The 23rd International Conference on Artificial Intelligence in Education (AIED2022)　465-476　2022年7月

    出版者・発行元： Springer

    DOI： 10.1007/978-3-031-11644-5_38 　

  31. Diverse Lottery Tickets Boost Ensemble from a Single Pretrained Model 査読有り

    Sosuke Kobayashi, Shun Kiyono, Jun Suzuki, Kentaro Inui

    2022 Challenges and Perspectives in Creating Large Language Models, Proceedings of the Workshop　42-50　2022年5月

  32. Scene-Text Aware Image and Text Retrieval with Dual-Encoder. 査読有り

    Shumpei Miyawaki, Taku Hasegawa, Kyosuke Nishida, Takuma Kato, Jun Suzuki

    Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics: Student Research Workshop　422-433　2022年5月

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2022.acl-srw.34 　

  33. JParaCrawl v3.0: A Large-scale English-Japanese Parallel Corpus. 査読有り

    Makoto Morishita, Katsuki Chousa, Jun Suzuki, Masaaki Nagata

    LREC　6704-6710　2022年4月

  34. 負例を厳選した対話応答選択による対話応答生成システムの評価 査読有り

    佐藤 志貴, 赤間 怜奈, 大内 啓樹, 鈴木 潤, 乾 健太郎

    自然言語処理　29　(1)　53-83　2022年3月

    出版者・発行元： 一般社団法人 言語処理学会

    DOI： 10.5715/jnlp.29.53 　

    ISSN：1340-7619

    eISSN：2185-8314

    詳細を見る 詳細を閉じる

    雑談対話応答生成システムの日々の改良が望ましい方向に効いているか継続的に評価するといった用途として，システムを低コストで評価できる自動評価の枠組みの確立が求められている．しかし，BLEU など，応答生成の自動評価に広く用いられている既存の指標は人間との相関が低いことが報告されている．これは，一つの対話履歴に対し適切な応答が複数存在するという対話の性質に起因する．この性質の影響を受けにくいシステムの評価方法の一つに対話応答選択が考えられる．対話応答選択は，対話履歴に対し適切な応答を応答候補から選ぶタスクである．このタスクではシステムの応答が候補内の発話に限られるため，前述した対話の性質の影響を回避した評価が可能である．一般に対話応答選択では，対話履歴に対する本来の応答（正例）に加え，誤り候補（負例）を無関係な対話データから無作為抽出し応答候補を構成する．しかし，この方法では，正例とかけ離れすぎていて応答として不適切と容易に判別できる発話や，応答として誤りとはいえない発話が負例として候補に混入し，評価の有効性が低下する可能性がある．本論文では，負例を厳選することで不適切な負例の混入を抑制した対話応答選択テストセットの構築方法を提案する．構築したテストセットを用いた対話応答選択によるシステム評価が，BLEU など既存の広く用いられている自動評価指標と比べ人手評価と強く相関することを報告する．

  35. Instance-Based Neural Dependency Parsing 査読有り

    Hiroki Ouchi, Jun Suzuki, Sosuke Kobayashi, Sho Yokoi, Tatsuki Kuribayashi, Masashi Yoshikawa, Kentaro Inui

    Transactions of the Association for Computational Linguistics　9　1493-1507　2021年12月17日

    出版者・発行元： MIT Press - Journals

    DOI： 10.1162/tacl_a_00439 　

    eISSN：2307-387X

    詳細を見る 詳細を閉じる

    Abstract Interpretable rationales for model predictions are crucial in practical applications. We develop neural models that possess an interpretable inference process for dependency parsing. Our models adopt instance-based inference, where dependency edges are extracted and labeled by comparing them to edges in a training set. The training edges are explicitly used for the predictions; thus, it is easy to grasp the contribution of each edge to the predictions. Our experiments show that our instance-based models achieve competitive accuracy with standard neural models and have the reasonable plausibility of instance-based explanations.

  36. SHAPE : Shifted Absolute Position Embedding for Transformers. 査読有り

    Shun Kiyono, Sosuke Kobayashi, Jun Suzuki, Kentaro Inui

    Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing　3309-3321　2021年11月

    出版者・発行元： Association for Computational Linguistics

    詳細を見る 詳細を閉じる

    Position representation is crucial for building position-aware representations in Transformers. Existing position representations suffer from a lack of generalization to test data with unseen lengths or high computational cost. We investigate shifted absolute position embedding (SHAPE) to address both issues. The basic idea of SHAPE is to achieve shift invariance, which is a key property of recent successful position representations, by randomly shifting absolute positions during training. We demonstrate that SHAPE is empirically comparable to its counterpart while being simpler and faster.

  37. Subword-Based Compact Reconstruction for Open-Vocabulary Neural Word Embeddings. 査読有り

    Shota Sasaki, Jun Suzuki, Kentaro Inui

    IEEE/ACM Transactions on Audio, Speech and Language Processing　29　3551-3564　2021年11月

    出版者・発行元： Institute of Electrical and Electronics Engineers ({IEEE})

    DOI： 10.1109/TASLP.2021.3125133 　

  38. 機械翻訳モデルの頑健性評価に向けた言語現象毎データセットの構築と分析 査読有り

    藤井 諒, 三田 雅人, 阿部 香央莉, 塙 一晃, 森下 睦, 鈴木 潤, 乾 健太郎

    自然言語処理　28　(2)　450-478　2021年6月

    出版者・発行元： 一般社団法人 言語処理学会

    DOI： 10.5715/jnlp.28.450 　

    ISSN：1340-7619

    詳細を見る 詳細を閉じる

    <p>ニューラル機械翻訳 (NMT) の登場により，ニュース記事など文体の整った入力に対する翻訳の品質は著しく向上してきた．しかし，ソーシャル・ネットワーキング・サービス (SNS) に代表されるユーザ生成コンテンツ (UGC) を対象とした NMT の翻訳には依然として多くの課題が残されている．異文化・多言語交流の促進に向けた機械翻訳システムの活用には，そうした特異な入力を正確に扱うことのできる翻訳モデルの構築が不可欠である．近年では，UGC における翻訳品質の向上に向けたコンペティションが開催されるなどその重要性は広く認知されている．一方で，UGC に起因するどのような要因が機械翻訳システムの出力に悪影響を及ぼすのかは明らかでなく，偏在するユーザコンテンツの翻訳に向けた確かな方向性は依然として定まっていない．そこで本研究では，言語現象に着目した日英機械翻訳システムの頑健性測定データセット PheMT を提案する．特定の言語現象を含む文に特化したデータセットにより，当該表現の翻訳正解率，および正規化に基づく翻訳品質の差分を用いた精緻なエラー分析を可能にする．構築したデータセットを用いた評価により，広く商用に利用される機械翻訳システムを含む，最先端の NMT モデルにおいても十分に扱えない，対処すべき言語現象の存在を明らかにする．</p>

  39. 訓練事例の影響の軽量な推定 査読有り

    小林 颯介, 横井 祥, 鈴木 潤, 乾 健太郎

    自然言語処理　28　(2)　573-597　2021年6月

    出版者・発行元： 一般社団法人 言語処理学会

    DOI： 10.5715/jnlp.28.573 　

    ISSN：1340-7619

    詳細を見る 詳細を閉じる

    <p>機械学習モデルの挙動の解釈において，各訓練事例がもたらす影響を理解することは重要である．単純にはデータセットから対象の訓練事例を除いて再訓練してモデルの変化を解析することもできるが，必要な計算量が非常に大きくなってしまい，特に膨大なパラメータのニューラルネットワークモデルへの適用が困難であった．本論文では，ニューラルネットワークモデルへの各訓練事例の影響の推定手法として，既存手法に比べて非常に効率的な方法を提案する．提案手法では，各事例の学習時に dropout を用いて，事例ごとに固有のサブネットワークのパラメータを更新せずに訓練を進めることで，訓練終了後には各訓練事例の影響を受けていないサブネットワークを自由に抽出し，それを影響値の推定に活かすことができる．実験では，提案手法を，文書分類と画像物体認識において，BERT および VGGNet に適用し訓練事例への紐付けを行うことで，解釈性の高い形でモデルの予測を解析できることを示した．また，サブネットワークの学習曲線の解析やデータフィルタリングの実験を通して，提案手法が事例間の関係性を適切に捉えていることを定量的に示した．</p>

  40. Context-aware Neural Machine Translation with Mini-batch Embedding. 査読有り

    Makoto Morishita, Jun Suzuki, Tomoharu Iwata, Masaaki Nagata

    EACL-2021　2513-2521　2021年4月

    出版者・発行元： Association for Computational Linguistics

  41. データ指向型アプローチによるクローズドブック質問応答 査読有り

    鈴木 正敏, 松田 耕史, 大内 啓樹, 鈴木 潤, 乾 健太郎

    自然言語処理　28　(1)　3-25　2021年3月

    出版者・発行元： 一般社団法人 言語処理学会

    DOI： 10.5715/jnlp.28.3 　

    ISSN：1340-7619

  42. 論述構造解析におけるスパン分散表現 査読有り

    栗林 樹生, 大内 啓樹, 井之上 直也, 鈴木 潤, Reisert Paul, 三好 利昇, 乾 健太郎

    自然言語処理　27　(4)　4691-4698　2020年12月

    出版者・発行元： 一般社団法人 言語処理学会

    DOI： 10.18653/v1/p19-1464 　

    ISSN：1340-7619

  43. PheMT: A Phenomenon-wise Dataset for Machine Translation Robustness on User-Generated Contents. 国際誌 査読有り

    Ryo Fujii, Masato Mita, Kaori Abe, Kazuaki Hanawa, Makoto Morishita, Jun Suzuki, Kentaro Inui

    COLING-2020　5929-5943　2020年12月

    出版者・発行元： International Committee on Computational Linguistics

    DOI： 10.18653/v1/2020.coling-main.521 　

    詳細を見る 詳細を閉じる

    Neural Machine Translation (NMT) has shown drastic improvement in its quality when translating clean input, such as text from the news domain. However, existing studies suggest that NMT still struggles with certain kinds of input with considerable noise, such as User-Generated Contents (UGC) on the Internet. To make better use of NMT for cross-cultural communication, one of the most promising directions is to develop a model that correctly handles these expressions. Though its importance has been recognized, it is still not clear as to what creates the great gap in performance between the translation of clean input and that of UGC. To answer the question, we present a new dataset, PheMT, for evaluating the robustness of MT systems against specific linguistic phenomena in Japanese-English translation. Our experiments with the created dataset revealed that not only our in-house models but even widely used off-the-shelf systems are greatly disturbed by the presence of certain phenomena.

  44. Seeing the world through text: Evaluating image descriptions for commonsense reasoning in machine reading comprehension 国際誌 査読有り

    Diana Galvan-Sosa, Jun Suzuki, Kyosuke Nishida, Koji Matsuda, Kentaro Inui

    the Second Workshop Beyond Vision and LANguage: inTEgrating Real-world kNowledge (LANTERN 2020)　2020年11月

  45. Efficient Estimation of Influence of a Training Instance 国際誌 査読有り

    Sosuke Kobayashi, Sho Yokoi, Jun Suzuki, Kentaro Inui

    Proceedings of SustaiNLP: Workshop on Simple and Efficient Natural Language Processing　2020年11月

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2020.sustainlp-1.6 　

  46. Tohoku-AIP-NTT at WMT 2020 News Translation Task. 査読有り

    Shun Kiyono, Takumi Ito, Ryuto Konno, Makoto Morishita, Jun Suzuki

    WMT-2020　145-155　2020年11月

    出版者・発行元： Association for Computational Linguistics

  47. Langsmith: An Interactive Academic Text Revision System. 査読有り

    Takumi Ito, Tatsuki Kuribayashi, Masatoshi Hidaka, Jun Suzuki, Kentaro Inui

    EMNLP-2020 (Dem Track)　216-226　2020年11月

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2020.emnlp-demos.28 　

    詳細を見る 詳細を閉じる

    Despite the current diversity and inclusion initiatives in the academic community, researchers with a non-native command of English still face significant obstacles when writing papers in English. This paper presents the Langsmith editor, which assists inexperienced, non-native researchers to write English papers, especially in the natural language processing (NLP) field. Our system can suggest fluent, academic-style sentences to writers based on their rough, incomplete phrases or sentences. The system also encourages interaction between human writers and the computerized revision system. The experimental results demonstrated that Langsmith helps non-native English-speaker students write papers in English. The system is available at https://emnlp-demo.editor. langsmith.co.jp/.

  48. Word Rotator's Distance. 国際誌 査読有り

    Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, Kentaro Inui

    Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP-2020)　2944-2960　2020年11月

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2020.emnlp-main.236 　

    詳細を見る 詳細を閉じる

    A key principle in assessing textual similarity is measuring the degree of semantic overlap between two texts by considering the word alignment. Such alignment-based approaches are intuitive and interpretable; however, they are empirically inferior to the simple cosine similarity between general-purpose sentence vectors. To address this issue, we focus on and demonstrate the fact that the norm of word vectors is a good proxy for word importance, and their angle is a good proxy for word similarity. Alignment-based approaches do not distinguish them, whereas sentence-vector approaches automatically use the norm as the word importance. Accordingly, we propose a method that first decouples word vectors into their norm and direction, and then computes alignment-based similarity using earth mover's distance (i.e., optimal transport cost), which we refer to as word rotator's distance. Besides, we find how to grow the norm and direction of word vectors (vector converter), which is a new systematic approach derived from sentence-vector estimation methods. On several textual similarity datasets, the combination of these simple proposed methods outperformed not only alignment-based approaches but also strong baselines. The source code is available at https://github.com/eumesy/wrd

  49. Filtering Noisy Dialogue Corpora by Connectivity and Content Relatedness. 国際誌 査読有り

    Reina Akama, Sho Yokoi, Jun Suzuki, Kentaro Inui

    Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP-2020)　941-958　2020年11月

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2020.emnlp-main.68 　

    詳細を見る 詳細を閉じる

    Large-scale dialogue datasets have recently become available for training neural dialogue agents. However, these datasets have been reported to contain a non-negligible number of unacceptable utterance pairs. In this paper, we propose a method for scoring the quality of utterance pairs in terms of their connectivity and relatedness. The proposed scoring method is designed based on findings widely shared in the dialogue and linguistics research communities. We demonstrate that it has a relatively good correlation with the human judgment of dialogue quality. Furthermore, the method is applied to filter out potentially unacceptable utterance pairs from a large-scale noisy dialogue corpus to ensure its quality. We experimentally confirm that training data filtered by the proposed method improves the quality of neural dialogue agents in response generation.

  50. A Self-Refinement Strategy for Noise Reduction in Grammatical Error Correction. 国際誌 査読有り

    Masato Mita, Shun Kiyono, Masahiro Kaneko, Jun Suzuki, Kentaro Inui

    Findings of the Association for Computational Linguistics: EMNLP 2020　267-280　2020年11月

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2020.findings-emnlp.26 　

    詳細を見る 詳細を閉じる

    Existing approaches for grammatical error correction (GEC) largely rely on supervised learning with manually created GEC datasets. However, there has been little focus on verifying and ensuring the quality of the datasets, and on how lower-quality data might affect GEC performance. We indeed found that there is a non-negligible amount of "noise" where errors were inappropriately edited or left uncorrected. To address this, we designed a self-refinement method where the key idea is to denoise these datasets by leveraging the prediction consistency of existing models, and outperformed strong denoising baseline methods. We further applied task-specific techniques and achieved state-of-the-art performance on the CoNLL-2014, JFLEG, and BEA-2019 benchmarks. We then analyzed the effect of the proposed denoising method, and found that our approach leads to improved coverage of corrections and facilitated fluency edits which are reflected in higher recall and overall performance.

  51. Instance-Based Learning of Span Representations: A Case Study through Named Entity Recognition. 国際誌 査読有り

    Hiroki Ouchi, Jun Suzuki, Sosuke Kobayashi, Sho Yokoi, Tatsuki Kuribayashi, Ryuto Konno, Kentaro Inui

    Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL-2020)　6452-6459　2020年7月

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2020.acl-main.575 　

    詳細を見る 詳細を閉じる

    Interpretable rationales for model predictions play a critical role in practical applications. In this study, we develop models possessing interpretable inference process for structured prediction. Specifically, we present a method of instance-based learning that learns similarities between spans. At inference time, each span is assigned a class label based on its similar spans in the training set, where it is easy to understand how much each training instance contributes to the predictions. Through empirical analysis on named entity recognition, we demonstrate that our method enables to build models that have high interpretability without sacrificing performance.

  52. Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction. 国際誌 査読有り

    Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, Kentaro Inui

    Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL-2020)　4248-4254　2020年7月

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2020.acl-main.391 　

    詳細を見る 詳細を閉じる

    This paper investigates how to effectively incorporate a pre-trained masked language model (MLM), such as BERT, into an encoder-decoder (EncDec) model for grammatical error correction (GEC). The answer to this question is not as straightforward as one might expect because the previous common methods for incorporating a MLM into an EncDec model have potential drawbacks when applied to GEC. For example, the distribution of the inputs to a GEC model can be considerably different (erroneous, clumsy, etc.) from that of the corpora used for pre-training MLMs; however, this issue is not addressed in the previous methods. Our experiments show that our proposed method, where we first fine-tune a MLM with a given GEC corpus and then use the output of the fine-tuned MLM as additional features in the GEC model, maximizes the benefit of the MLM. The best-performing model achieves state-of-the-art performances on the BEA-2019 and CoNLL-2014 benchmarks. Our code is publicly available at: https://github.com/kanekomasahiro/bert-gec.

  53. Single Model Ensemble using Pseudo-Tags and Distinct Vectors. 国際誌 査読有り

    Ryosuke Kuwabara, Jun Suzuki, Hideki Nakayama

    Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL-2020)　3006-3013　2020年7月

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2020.acl-main.271 　

    詳細を見る 詳細を閉じる

    Model ensemble techniques often increase task performance in neural networks; however, they require increased time, memory, and management effort. In this study, we propose a novel method that replicates the effects of a model ensemble with a single model. Our approach creates K-virtual models within a single parameter space using K-distinct pseudo-tags and K-distinct vectors. Experiments on text classification and sequence labeling tasks on several datasets demonstrate that our method emulates or outperforms a traditional model ensemble with 1/K-times fewer parameters.

  54. Evaluating Dialogue Generation Systems via Response Selection. 国際誌 査読有り

    Shiki Sato, Reina Akama, Hiroki Ouchi, Jun Suzuki, Kentaro Inui

    Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL-2020)　593-599　2020年7月

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2020.acl-main.55 　

    詳細を見る 詳細を閉じる

    Existing automatic evaluation metrics for open-domain dialogue response generation systems correlate poorly with human evaluation. We focus on evaluating response generation systems via response selection. To evaluate systems properly via response selection, we propose the method to construct response selection test sets with well-chosen false candidates. Specifically, we propose to construct test sets filtering out some types of false candidates: (i) those unrelated to the ground-truth response and (ii) those acceptable as appropriate responses. Through experiments, we demonstrate that evaluating systems via response selection with the test sets developed by our method correlates more strongly with human evaluation, compared with widely used automatic evaluation metrics such as BLEU.

  55. Language Models as an Alternative Evaluator of Word Order Hypotheses: A Case Study in Japanese. 国際誌 査読有り

    Tatsuki Kuribayashi, Takumi Ito, Jun Suzuki, Kentaro Inui

    Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL-2020)　488-504　2020年7月

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2020.acl-main.47 　

    詳細を見る 詳細を閉じる

    We examine a methodology using neural language models (LMs) for analyzing the word order of language. This LM-based method has the potential to overcome the difficulties existing methods face, such as the propagation of preprocessor errors in count-based methods. In this study, we explore whether the LM-based method is valid for analyzing the word order. As a case study, this study focuses on Japanese due to its complex and flexible word order. To validate the LM-based method, we test (i) parallels between LMs and human word order preference, and (ii) consistency of the results obtained using the LM-based method with previous linguistic studies. Through our experiments, we tentatively conclude that LMs display sufficient word order knowledge for usage as an analysis tool. Finally, using the LM-based method, we demonstrate the relationship between the canonical word order and topicalization, which had yet to be analyzed by large-scale experiments.

  56. Preventing Critical Scoring Errors in Short Answer Scoring with Confidence Estimation. 国際誌 査読有り

    Hiroaki Funayama, Shota Sasaki, Yuichiroh Matsubayashi, Tomoya Mizumoto, Jun Suzuki, Masato Mita, Kentaro Inui

    ACL-2020 (Student Research Workshop)　237-243　2020年7月

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2020.acl-srw.32 　

  57. Embeddings of Label Components for Sequence Labeling: A Case Study of Fine-grained Named Entity Recognition. 国際誌 査読有り

    Takuma Kato, Kaori Abe, Hiroki Ouchi, Shumpei Miyawaki, Jun Suzuki, Kentaro Inui

    ACL-2020 (Student Research Workshop)　222-229　2020年7月

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/2020.acl-srw.30 　

    詳細を見る 詳細を閉じる

    In general, the labels used in sequence labeling consist of different types of elements. For example, IOB-format entity labels, such as B-Person and I-Person, can be decomposed into span (B and I) and type information (Person). However, while most sequence labeling models do not consider such label components, the shared components across labels, such as Person, can be beneficial for label prediction. In this work, we propose to integrate label component information as embeddings into models. Through experiments on English and Japanese fine-grained named entity recognition, we demonstrate that the proposed method improves performance, especially for instances with low-frequency labels.

  58. Massive Exploration of Pseudo Data for Grammatical Error Correction. 国際誌 査読有り

    Shun Kiyono, Jun Suzuki, Tomoya Mizumoto, Kentaro Inui

    IEEE ACM Trans. Audio Speech Lang. Process.　28　2134-2145　2020年7月

    DOI： 10.1109/TASLP.2020.3007753 　

  59. JParaCrawl: A Large Scale Web-Based English-Japanese Parallel Corpus 国際誌 査読有り

    Makoto Morishita, Jun Suzuki, Masaaki Nagata

    LREC-2020　3603-3609　2020年5月

    出版者・発行元： European Language Resources Association

    詳細を見る 詳細を閉じる

    Recent machine translation algorithms mainly rely on parallel corpora. However, since the availability of parallel corpora remains limited, only some resource-rich language pairs can benefit from them. We constructed a parallel corpus for English-Japanese, for which the amount of publicly available parallel corpora is still limited. We constructed the parallel corpus by broadly crawling the web and automatically aligning parallel sentences. Our collected corpus, called JParaCrawl, amassed over 8.7 million sentence pairs. We show how it includes a broader range of domains and how a neural machine translation model trained with it works as a good pre-trained model for fine-tuning specific domains. The pre-training and fine-tuning approaches achieved or surpassed performance comparable to model training from the initial state and reduced the training time. Additionally, we trained the model with an in-domain dataset and JParaCrawl to show how we achieved the best performance with them. JParaCrawl and the pre-trained models are freely available online for research purposes.

  60. Assisting authors to convert raw products into polished prose 査読有り

    Ito, T., Kuribayashi, T., Kobayashi, H., Brassard, A., Hagiwara, M., Suzuki, J., Inui, K.

    Journal of Cognitive Science　21　(1)　2020年3月

  61. Diamonds in the Rough: Generating Fluent Sentences from Early-Stage Drafts for Academic Writing Assistance. 査読有り

    Takumi Ito, Tatsuki Kuribayashi, Hayato Kobayashi, Ana Brassard, Masato Hagiwara, Jun Suzuki, Kentaro Inui

    Proceedings of the 12th International Conference on Natural Language Generation (INLG-2020)　40-53　2019年10月

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/W19-8606 　

    詳細を見る 詳細を閉じる

    The writing process consists of several stages such as drafting, revising, editing, and proofreading. Studies on writing assistance, such as grammatical error correction (GEC), have mainly focused on sentence editing and proofreading, where surface-level issues such as typographical, spelling, or grammatical errors should be corrected. We broaden this focus to include the earlier revising stage, where sentences require adjustment to the information included or major rewriting and propose Sentence-level Revision (SentRev) as a new writing assistance task. Well-performing systems in this task can help inexperienced authors by producing fluent, complete sentences given their rough, incomplete drafts. We build a new freely available crowdsourced evaluation dataset consisting of incomplete sentences authored by non-native writers paired with their final versions extracted from published academic papers for developing and evaluating SentRev models. We also establish baseline performance on SentRev using our newly built evaluation dataset.

  62. Transductive Learning of Neural Language Models for Syntactic and Semantic Analysis.

    Hiroki Ouchi, Jun Suzuki, Kentaro Inui

    Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing　3663-3669　2019年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/D19-1379 　

  63. An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction.

    Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, Kentaro Inui

    Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing　1236-1242　2019年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/D19-1119 　

    詳細を見る 詳細を閉じる

    The incorporation of pseudo data in the training of grammatical error correction models has been one of the main factors in improving the performance of such models. However, consensus is lacking on experimental configurations, namely, choosing how the pseudo data should be generated or used. In this study, these choices are investigated through extensive experiments, and state-of-the-art performance is achieved on the CoNLL-2014 test set ($F_{0.5}=65.0$) and the official test set of the BEA-2019 shared task ($F_{0.5}=70.2$) without making any modifications to the model architecture.

  64. Select and Attend: Towards Controllable Content Selection in Text Generation. 査読有り

    Xiaoyu Shen 0001, Jun Suzuki, Kentaro Inui, Hui Su, Dietrich Klakow, Satoshi Sekine

    Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing　579-590　2019年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/D19-1054 　

    詳細を見る 詳細を閉じる

    Many text generation tasks naturally contain two steps: content selection and surface realization. Current neural encoder-decoder models conflate both steps into a black-box architecture. As a result, the content to be described in the text cannot be explicitly controlled. This paper tackles this problem by decoupling content selection from the decoder. The decoupled content selection is human interpretable, whose value can be manually manipulated to control the content of generated text. The model can be trained end-to-end without human annotations by maximizing a lower bound of the marginal likelihood. We further propose an effective way to trade-off between performance and controllability with a single adjustable hyperparameter. In both data-to-text and headline generation tasks, our model achieves promising results, paving the way for controllable content selection in text generation.

  65. TEASPN: Framework and Protocol for Integrated Writing Assistance Environments.

    Masato Hagiwara, Takumi Ito, Tatsuki Kuribayashi, Jun Suzuki, Kentaro Inui

    Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing　229-234　2019年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/D19-3039 　

    詳細を見る 詳細を閉じる

    Language technologies play a key role in assisting people with their writing. Although there has been steady progress in e.g., grammatical error correction (GEC), human writers are yet to benefit from this progress due to the high development cost of integrating with writing software. We propose TEASPN, a protocol and an open-source framework for achieving integrated writing assistance environments. The protocol standardizes the way writing software communicates with servers that implement such technologies, allowing developers and researchers to integrate the latest developments in natural language processing (NLP) with low cost. As a result, users can enjoy the integrated experience in their favorite writing software. The results from experiments with human participants show that users use a wide range of technologies and rate their writing experience favorably, allowing them to write more fluent text.

  66. The AIP-Tohoku System at the BEA-2019 Shared Task.

    Hiroki Asano, Masato Mita, Tomoya Mizumoto, Jun Suzuki

    Proceedings of the Fourteenth Workshop on Innovative Use of NLP for Building Educational Applications(BEA@ACL)　176-182　2019年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/w19-4418 　

  67. NTT Neural Machine Translation Systems at WAT 2019.

    Makoto Morishita, Jun Suzuki, Masaaki Nagata

    Proceedings of the 6th Workshop on Asian Translation(WAT@EMNLP-IJCNLP)　99-105　2019年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/D19-5211 　

  68. Effective Adversarial Regularization for Neural Machine Translation.

    Motoki Sato, Jun Suzuki, Shun Kiyono

    Proceedings of the 57th Conference of the Association for Computational Linguistics　204-210　2019年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/p19-1020 　

  69. Character n-Gram Embeddings to Improve RNN Language Models.

    Sho Takase, Jun Suzuki, Masaaki Nagata

    The Thirty-Third AAAI Conference on Artificial Intelligence(AAAI)　5074-5082　2019年

    出版者・発行元： AAAI Press

    DOI： 10.1609/aaai.v33i01.33015074 　

    詳細を見る 詳細を閉じる

    This paper proposes a novel Recurrent Neural Network (RNN) language model that takes advantage of character information. We focus on character n-grams based on research in the field of word embedding construction (Wieting et al. 2016). Our proposed method constructs word embeddings from character n-gram embeddings and combines them with ordinary word embeddings. We demonstrate that the proposed method achieves the best perplexities on the language modeling datasets: Penn Treebank, WikiText-2, and WikiText-103. Moreover, we conduct experiments on application tasks: machine translation and headline generation. The experimental results indicate that our proposed method also positively affects these tasks.

  70. Mixture of Expert/Imitator Networks: Scalable Semi-Supervised Learning Framework 査読有り

    4073-4081　2019年1月

    出版者・発行元：

    DOI： 10.1609/aaai.v33i01.33014073 　

  71. Personalized Visited-POI Assignment to Individual Raw GPS Trajectories. 査読有り

    Jun Suzuki, Yoshihiko Suhara, Hiroyuki Toda, Kyosuke Nishida

    ACM Trans. Spatial Algorithms Syst.　5　(3)　16-28　2019年

    DOI： 10.1145/3317667 　

  72. The Sally Smedley Hyperpartisan News Detector at SemEval-2019 Task 4. 査読有り

    Kazuaki Hanawa, Shota Sasaki, Hiroki Ouchi, Jun Suzuki, Kentaro Inui

    Proceedings of the 13th International Workshop on Semantic Evaluation (SemEval)　1057-1061　2019年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/s19-2185 　

  73. Subword-based Compact Reconstruction of Word Embeddings. 査読有り

    Shota Sasaki, Jun Suzuki, Kentaro Inui

    in Proceedings of the 17th Annual Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL-HLT 2019)　3498-3508　2019年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/n19-1353 　

  74. Interpretable Adversarial Perturbation in Input Embedding Space for Text.

    Motoki Sato, Jun Suzuki, Hiroyuki Shindo, Yuji Matsumoto 0001

    Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence(IJCAI)　4323-4330　2018年

    出版者・発行元： ijcai.org

    DOI： 10.24963/ijcai.2018/601 　

    詳細を見る 詳細を閉じる

    Following great success in the image processing field, the idea of adversarial training has been applied to tasks in the natural language processing (NLP) field. One promising approach directly applies adversarial training developed in the image processing field to the input word embedding space instead of the discrete input space of texts. However, this approach abandons such interpretability as generating adversarial texts to significantly improve the performance of NLP tasks. This paper restores interpretability to such methods by restricting the directions of perturbations toward the existing words in the input embedding space. As a result, we can straightforwardly reconstruct each input with perturbations to an actual text by considering the perturbations to be the replacement of words in the sentence while maintaining or even improving the task performance.

  75. Direct Output Connection for a High-Rank Language Model.

    Sho Takase, Jun Suzuki, Masaaki Nagata

    Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing(EMNLP)　4599-4609　2018年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/d18-1489 　

    詳細を見る 詳細を閉じる

    This paper proposes a state-of-the-art recurrent neural network (RNN) language model that combines probability distributions computed not only from a final RNN layer but also from middle layers. Our proposed method raises the expressive power of a language model based on the matrix factorization interpretation of language modeling introduced by Yang et al. (2018). The proposed method improves the current state-of-the-art language model and achieves the best score on the Penn Treebank and WikiText-2, which are the standard benchmark datasets. Moreover, we indicate our proposed method contributes to two application tasks: machine translation and headline generation. Our code is publicly available at: https://github.com/nttcslab-nlp/doc_lm.

  76. Unsupervised Token-wise Alignment to Improve Interpretation of Encoder-Decoder Models. 査読有り

    Shun Kiyono, Sho Takase, Jun Suzuki, Naoaki Okazaki, Kentaro Inui, Masaaki Nagata

    Proceedings of the 2018 EMNLP Workshop BlackboxNLP: Analyzing and Interpreting Neural Networks for NLP　74-81　2018年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/w18-5410 　

  77. Reducing Odd Generation from Neural Headline Generation. 査読有り

    Shun Kiyono, Sho Takase, Jun Suzuki, Naoaki Okazaki, Kentaro Inui, Masaaki Nagata

    Proceedings of the 32nd Pacific Asia Conference on Language, Information and Computation(PACLIC)　(to appear)　2018年

    出版者・発行元： Association for Computational Linguistics

  78. NTT's Neural Machine Translation Systems for WMT 2018. 査読有り

    Makoto Morishita, Jun Suzuki, Masaaki Nagata

    Proceedings of the Third Conference on Machine Translation: Shared Task Papers, WMT 2018, Belgium, Brussels, October 31 - November 1, 2018　461-466　2018年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/w18-6421 　

  79. Pointwise HSIC: A Linear-Time Kernelized Co-occurrence Norm for Sparse Linguistic Expressions. 査読有り

    Sho Yokoi, Sosuke Kobayashi, Kenji Fukumizu, Jun Suzuki, Kentaro Inui

    EMNLP-2018　abs/1809.00800　1763-1775　2018年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/d18-1203 　

    詳細を見る 詳細を閉じる

    In this paper, we propose a new kernel-based co-occurrence measure that can be applied to sparse linguistic expressions (e.g., sentences) with a very short learning time, as an alternative to pointwise mutual information (PMI). As well as deriving PMI from mutual information, we derive this new measure from the Hilbert--Schmidt independence criterion (HSIC); thus, we call the new measure the pointwise HSIC (PHSIC). PHSIC can be interpreted as a smoothed variant of PMI that allows various similarity metrics (e.g., sentence embeddings) to be plugged in as kernels. Moreover, PHSIC can be estimated by simple and fast (linear in the size of the data) matrix calculations regardless of whether we use linear or nonlinear kernels. Empirically, in a dialogue response selection task, PHSIC is learned thousands of times faster than an RNN-based PMI while outperforming PMI in accuracy. In addition, we also demonstrate that PHSIC is beneficial as a criterion of a data selection task for machine translation owing to its ability to give high (low) scores to a consistent (inconsistent) pair with other pairs.

  80. 階層的な部分単語を入力としたニューラル機械翻訳 査読有り

    森下睦, 鈴木潤, 永田昌明

    人工知能学会全国大会論文集(CD-ROM)　32nd　618-629　2018年

    出版者・発行元：

    ISSN：1347-9881

  81. An Empirical Study of Building a Strong Baseline for Constituency Parsing. 査読有り

    Jun Suzuki, Sho Takase, Hidetaka Kamigaito, Makoto Morishita, Masaaki Nagata

    Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, ACL 2018, Melbourne, Australia, July 15-20, 2018, Volume 2: Short Papers　612-618　2018年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/P18-2097 　

  82. Memory-efficient word embedding vectors

    Suzuki, J., Nagata, M.

    NTT Technical Review　15　(11)　2017年

  83. Input-to-Output Gate to Improve RNN Language Models.

    Sho Takase, Jun Suzuki, Masaaki Nagata

    Proceedings of the Eighth International Joint Conference on Natural Language Processing(IJCNLP(2))　43-48　2017年

    出版者・発行元： Asian Federation of Natural Language Processing

    詳細を見る 詳細を閉じる

    This paper proposes a reinforcing method that refines the output layers of existing Recurrent Neural Network (RNN) language models. We refer to our proposed method as Input-to-Output Gate (IOG). IOG has an extremely simple structure, and thus, can be easily combined with any RNN language models. Our experiments on the Penn Treebank and WikiText-2 datasets demonstrate that IOG consistently boosts the performance of several different types of current topline RNN language models.

  84. Enumeration of Extractive Oracle Summaries. 査読有り

    Tsutomu Hirao, Masaaki Nishino, Jun Suzuki, Masaaki Nagata

    Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, EACL 2017, Valencia, Spain, April 3-7, 2017, Volume 1: Long Papers　386-396　2017年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/e17-1037 　

    詳細を見る 詳細を閉じる

    To analyze the limitations and the future directions of the extractive summarization paradigm, this paper proposes an Integer Linear Programming (ILP) formulation to obtain extractive oracle summaries in terms of ROUGE-N. We also propose an algorithm that enumerates all of the oracle summaries for a set of reference summaries to exploit F-measures that evaluate which system summaries contain how many sentences that are extracted as an oracle summary. Our experimental results obtained from Document Understanding Conference (DUC) corpora demonstrated the following: (1) room still exists to improve the performance of extractive summarization; (2) the F-measures derived from the enumerated oracle summaries have significantly stronger correlations with human judgment than those derived from single oracle summaries.

  85. Improving Neural Text Normalization with Data Augmentation at Character- and Morphological Levels. 査読有り

    Itsumi Saito, Jun Suzuki, Kyosuke Nishida, Kugatsu Sadamitsu, Satoshi Kobashikawa, Ryo Masumura, Yuji Matsumoto 0001, Junji Tomita

    Proceedings of the Eighth International Joint Conference on Natural Language Processing, IJCNLP 2017, Taipei, Taiwan, November 27 - December 1, 2017, Volume 2: Short Papers　257-262　2017年

    出版者・発行元： Asian Federation of Natural Language Processing

  86. Deep Reinforcement Learning with Hidden Layers on Future States. 査読有り

    Hirotaka Kameko, Jun Suzuki, Naoki Mizukami, Yoshimasa Tsuruoka

    Communications in Computer and Information Science　818　46-60　2017年

    出版者・発行元： Communications in Computer and Information Science

    DOI： 10.1007/978-3-319-75931-9_4 　

    ISSN：1865-0929

  87. Cutting-off Redundant Repeating Generations for Neural Abstractive Summarization. 査読有り

    Jun Suzuki, Masaaki Nagata

    Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, EACL 2017, Valencia, Spain, April 3-7, 2017, Volume 2: Short Papers　abs/1701.00138　291-297　2017年

    出版者・発行元： Association for Computational Linguistics

    DOI： 10.18653/v1/e17-2047 　

    詳細を見る 詳細を閉じる

    This paper tackles the reduction of redundant repeating generation that is often observed in RNN-based encoder-decoder models. Our basic idea is to jointly estimate the upper-bound frequency of each target vocabulary in the encoder and control the output words based on the estimation in the decoder. Our method shows significant improvement over a strong RNN-based encoder-decoder baseline and achieved its best results on an abstractive summarization benchmark.

  88. NTT Neural Machine Translation Systems at WAT 2017. 査読有り

    Makoto Morishita, Jun Suzuki, Masaaki Nagata

    Proceedings of the 4th Workshop on Asian Translation, WAT@IJCNLP 2017, Taipei, Taiwan, November 27- December 1, 2017　89-94　2017年

    出版者・発行元： Asian Federation of Natural Language Processing

  89. Exploration Bonuses Based on Upper Confidence Bounds for Sparse Reward Games. 査読有り

    Naoki Mizukami, Jun Suzuki, Hirotaka Kameko, Yoshimasa Tsuruoka

    Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics)　10664 LNCS　165-175　2017年

    出版者・発行元： Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics)

    DOI： 10.1007/978-3-319-71649-7_14 　

    ISSN：1611-3349 0302-9743

  90. Shift-reduce Spinal TAG Parsing with Dynamic Programming

    Hayashi Katsuhiko, Suzuki Jun, Nagata Masaaki

    Information and Media Technologies　11　93-100　2016年

    出版者・発行元： Information and Media Technologies 編集運営会議

    DOI： 10.11185/imt.11.93 　

    ISSN：1881-0896

    詳細を見る 詳細を閉じる

    The spinal tree adjoining grammar (TAG) parsing model of [Carreras 08] achieves the current state-of-the-art constituent parsing accuracy on the commonly used English Penn Treebank evaluation setting. Unfortunately, the model has the serious drawback of low parsing efficiency since its Eisner-CKY style parsing algorithm needs O(n4) computation time for input length n. This paper investigates a more practical solution and presents a beam search shift-reduce algorithm for spinal TAG parsing. Since the algorithm works in O(bn) (b is beam width), it can be expected to provide a significant improvement in parsing speed. However, to achieve faster parsing, it needs to prune a large number of candidates in an exponentially large search space and often suffers from severe search errors. In fact, our experiments show that the basic beam search shift-reduce parser does not work well for spinal TAGs. To alleviate this problem, we extend the proposed shift-reduce algorithm with two techniques: Dynamic Programming of [Huang 10a] and Supertagging. The proposed extended parsing algorithm is about 8 times faster than the Berkeley parser, which is well-known to be fast constituent parsing software, while offering state-of-the-art performance. Moreover, we conduct experiments on the Keyaki Treebank for Japanese to show that the good performance of our proposed parser is language-independent.

  91. Event report: NTT Communication Science Laboratories Open House 2016

    Suzuki, J., Kitagawa, N., Tsuchida, M., Ishiguro, K., Kuroki, S.

    NTT Technical Review　14　(11)　2016年

  92. Shift-reduce spinal TAG parsing with dynamic programming 査読有り

    Hayashi, K., Suzuki, J., Nagata, M.

    Transactions of the Japanese Society for Artificial Intelligence　31　(2)　2016年

    出版者・発行元： Japanese Society for Artificial Intelligence

    DOI： 10.1527/tjsai.J-F83 　

    ISSN：1346-8030 1346-0714

  93. 集合分割問題に基づく系列アラインメントのモデル化

    西野 正彬, 鈴木 潤, 梅谷 俊治, 平尾 努, 永田 昌明

    自然言語処理　23　(2)　175-194　2016年

    出版者・発行元： 一般社団法人 言語処理学会

    DOI： 10.5715/jnlp.23.175 　

    ISSN：1340-7619

    詳細を見る 詳細を閉じる

    2 つの系列が与えられたときに，系列の要素間での対応関係を求めることを系列アラインメントとよぶ．系列アラインメントは，自然言語処理分野においても文書対から対訳関係にある文のペアを獲得する対訳文アラインメント等に広く利用される．既存の系列アラインメント法は，アラインメントの単調性を仮定する方法か，もしくは連続性を考慮せずに非単調なアラインメントを求める方法かのいずれかであった．しかし，法令文書等の対訳文書に対する対訳文アラインメントにおいては，単調性を仮定せず，かつ対応付けの連続性を考慮できる手法が望ましい．本論文では，ある大きさの要素のまとまりを単位として系列の順序が大きく変動する場合にアラインメントを求めるための系列アラインメント法を示す．手法のポイントは，系列アラインメントを求める問題を組合せ最適化問題の一種である集合分割問題として定式化して解くことで，要素のまとまりの発見と対応付けとを同時に行えるようにした点にある．さらに，大規模な整数線形計画問題を解く際に用いられる技法である列生成法を用いることで，高速な求解が可能であることも同時に示す．

  94. Right-truncatable Neural Word Embeddings. 査読有り

    Jun Suzuki, Masaaki Nagata

    NAACL HLT 2016, The 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, San Diego California, USA, June 12-17, 2016　1145-1151　2016年

    出版者・発行元： The Association for Computational Linguistics

    DOI： 10.18653/v1/n16-1135 　

  95. Learning Compact Neural Word Embeddings by Parameter Space Sharing. 査読有り

    Jun Suzuki, Masaaki Nagata

    Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence, IJCAI 2016, New York, NY, USA, 9-15 July 2016　2046-2052　2016年

    出版者・発行元： IJCAI/AAAI Press

  96. Neural Headline Generation on Abstract Meaning Representation. 査読有り

    Sho Takase, Jun Suzuki, Naoaki Okazaki, Tsutomu Hirao, Masaaki Nagata

    Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing, EMNLP 2016, Austin, Texas, USA, November 1-4, 2016　1054-1059　2016年

    出版者・発行元： The Association for Computational Linguistics

    DOI： 10.18653/v1/d16-1112 　

  97. Phrase Table Pruning via Submodular Function Maximization. 査読有り

    Masaaki Nishino, Jun Suzuki, Masaaki Nagata

    Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, ACL 2016, August 7-12, 2016, Berlin, Germany, Volume 2: Short Papers　2016年

    出版者・発行元： The Association for Computer Linguistics

    DOI： 10.18653/v1/p16-2066 　

  98. A Unified Learning Framework of Skip-Grams and Global Vectors. 査読有り

    Jun Suzuki, Masaaki Nagata

    Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing of the Asian Federation of Natural Language Processing, ACL 2015, July 26-31, 2015, Beijing,　186-191　2015年

    出版者・発行元： The Association for Computer Linguistics

    DOI： 10.3115/v1/p15-2031 　

  99. Summarizing a Document by Trimming the Discourse Tree 査読有り

    Hirao, T., Nishino, M., Yoshida, Y., Suzuki, J., Yasuda, N., Nagata, M.

    IEEE/ACM Transactions on Audio Speech and Language Processing　23　(11)　2081-2092　2015年

    DOI： 10.1109/TASLP.2015.2465150 　

    ISSN：2329-9290

  100. 単語並べ替えと冠詞生成の同時逐次処理：日英機械翻訳への適用

    林 克彦, 須藤 克仁, 塚田 元, 鈴木 潤, 永田 昌明

    自然言語処理　21　(5)　1037-1057　2014年

    出版者・発行元： 一般社団法人 言語処理学会

    DOI： 10.5715/jnlp.21.1037 　

    ISSN：1340-7619

    詳細を見る 詳細を閉じる

    本稿では，機械翻訳の単語並べ替え問題にシフトリデュース構文解析法を応用するための手法を提案する．提案手法では，単一言語の Inversion Transduction 文法によって単語並べ替え問題を定式化する．また，日本語文と英語文との単語対応をとりやすくするため，あらかじめ除去した英冠詞を翻訳結果へ挿入する問題も単語並べ替えと同時に定式化する．提案法を日英特許翻訳に適用したところ，句に基づく統計的機械翻訳の BLEU スコア 29.99 に対して，+3.15 の改善が得られた．

  101. SCT-D3 at the NTCIR-11 MedNLP-2 Task. 査読有り

    Akinori Fujino, Jun Suzuki, Tsutomu Hirao, Hisashi Kurasawa, Katsuyoshi Hayashi

    Proceedings of the 11th NTCIR Conference on Evaluation of Information Access Technologies, NTCIR-11, National Center of Sciences, Tokyo, Japan, December 9-12, 2014　2014年

    出版者・発行元： National Institute of Informatics (NII)

  102. Restructuring output layers of deep neural networks using minimum risk parameter clustering. 査読有り

    Yotaro Kubo, Jun Suzuki, Takaaki Hori, Atsushi Nakamura

    15TH ANNUAL CONFERENCE OF THE INTERNATIONAL SPEECH COMMUNICATION ASSOCIATION (INTERSPEECH 2014), VOLS 1-4　1068-1072　2014年

    ISSN：2308-457X

  103. Dependency-based Discourse Parser for Single-Document Summarization. 査読有り

    Yasuhisa Yoshida, Jun Suzuki, Tsutomu Hirao, Masaaki Nagata

    Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, EMNLP 2014, October 25-29, 2014, Doha, Qatar, A meeting of SIGDAT, a Special Interest Group of the ACL　1834-1839　2014年

    出版者・発行元： ACL

    DOI： 10.3115/v1/d14-1196 　

  104. Fused Feature Representation Discovery for High-Dimensional and Sparse Data. 査読有り

    Jun Suzuki, Masaaki Nagata

    Proceedings of the Twenty-Eighth AAAI Conference on Artificial Intelligence, July 27 -31, 2014, Québec City, Québec, Canada.　1593-1599　2014年

    出版者・発行元： AAAI Press

  105. 不均衡データにおける偽陽性率を考慮したスパム判別器のオンライン学習

    数原 良彦, 鈴木 潤, 鷲崎 誠司

    情報処理学会論文誌データベース（TOD）　6　(2)　51-60　2013年3月29日

    出版者・発行元： 情報処理学会

    ISSN：1882-7799

    詳細を見る 詳細を閉じる

    ウェブスパム判別においては，あらかじめラベル付けされた訓練データを用いて機械学習の枠組みでスパム判別器を生成する方法が広く用いられている．本稿では，ウェブスパム判別において特に課題となる偽陽性率に着目し，偏りのある訓練データを用いた場合においても偽陽性率を抑えつつ，高精度な判別が可能となるマージン識別器のオンライン学習手法を提案する．提案手法では学習時にスパムと非スパム側に異なるマージンサイズを設定することで偽陽性率を抑え，クラスを確率的に選択したうえで当該クラスにおいて最大損失を与える事例を更新に用いることで，訓練データの偏りの影響を排除しつつ高精度な学習を可能とする．本稿ではスパムブログデータセットを用いて訓練データの事例数に偏りがある場合においても提案手法によって偽陽性率を抑えた高精度なスパム判別が可能であることを示す．Web spam detection systems often use supervised learning algorithms; the classifier is created from a labeled training dataset. This paper focuses on minimizing the false positive rate, a key goal in web spam detection. We propose an online learning algorithm for margin classifiers that can suppress false positives. Our method prepares different margin sizes for spam and non-spam instances to suppress the false positive rate; it stochastically selects the class to choose the instance that has maximum-loss in the selected class to eliminate the effect of imbalance in the training data and achieve high classification accuracy. We use real splog datasets to verify that our method can achieve high accuracy and low-false-positive-rate spam classification even when the training data is imbalanced.

  106. Robust Online Learning to Rank via Selective Pairwise Approach Based on Evaluation Measures

    Suhara Yoshihiko, Suzuki Jun, Kataoka Ryoji

    人工知能学会論文誌　28　(1)　22-33　2013年

    出版者・発行元： The Japanese Society for Artificial Intelligence

    DOI： 10.1527/tjsai.28.22 　

    ISSN：1346-0714

  107. Recent innovations in NTT's statistical machine translation

    Nagata, M., Sudoh, K., Suzuki, J., Akiba, Y., Hirao, T., Tsukada, H.

    NTT Technical Review　11　(12)　2013年

    ISSN：1348-3447

  108. Lagrangian relaxation for scalable text summarization while maximizing multipleobjectives 査読有り

    Nishino, M., Yasuda, N., Tsutomu, H., Suzuki, J., Nagata, M.

    Transactions of the Japanese Society for Artificial Intelligence　28　(5)　433-441　2013年

    DOI： 10.1527/tjsai.28.433 　

    ISSN：1346-8030 1346-0714

  109. NTT-NII Statistical Machine Translation for NTCIR-10 PatentMT. 査読有り

    Katsuhito Sudoh, Jun Suzuki, Hajime Tsukada, Masaaki Nagata, Sho Hoshino, Yusuke Miyao

    Proceedings of the 10th NTCIR Conference on Evaluation of Information Access Technologies, NTCIR-10, National Center of Sciences, Tokyo, Japan, June 18-21, 2013　2013年

    出版者・発行元： National Institute of Informatics (NII)

  110. Shift-Reduce Word Reordering for Machine Translation. 査読有り

    Katsuhiko Hayashi, Katsuhito Sudoh, Hajime Tsukada, Jun Suzuki, Masaaki Nagata

    Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, EMNLP 2013, 18-21 October 2013, Grand Hyatt Seattle, Seattle, Washington, USA, A meeting of SIGDAT, a Special Interest Group of the ACL　1382-1386　2013年

    出版者・発行元： ACL

  111. Text summarization while maximizing multiple objectives with Lagrangian relaxation 査読有り

    Nishino, M., Yasuda, N., Hirao, T., Suzuki, J., Nagata, M.

    Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics)　7814 LNCS　772-775　2013年

    出版者・発行元： Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics)

    DOI： 10.1007/978-3-642-36973-5_81 　

    ISSN：0302-9743 1611-3349

  112. Supervised Model Learning with Feature Grouping based on a Discrete Constraint. 査読有り

    Jun Suzuki, Masaaki Nagata

    Proceedings of the 51st Annual Meeting of the Association for Computational Linguistics, ACL 2013, 4-9 August 2013, Sofia, Bulgaria, Volume 2: Short Papers　18-23　2013年

    出版者・発行元： The Association for Computer Linguistics

  113. TripleEye: Mining closed itemsets with minimum length thresholds based on ordered inclusion tree 査読有り

    Shindo, H., Hirao, T., Suzuki, J., Fujino, A., Nagata, M.

    IPSJ Online Transactions　5　(2012)　192-202　2012年

    出版者・発行元： Information Processing Society of Japan

    DOI： 10.2197/ipsjtrans.5.192 　

    ISSN：1882-6660

  114. A Query-Focused Summarization Method that Guarantees the Inclusion of Query Words. 査読有り

    Norihito Yasuda, Masaaki Nishino, Tsutomu Hirao, Jun Suzuki, Ryoji Kataoka

    2012 23RD INTERNATIONAL WORKSHOP ON DATABASE AND EXPERT SYSTEMS APPLICATIONS (DEXA)　126-130　2012年

    DOI： 10.1109/DEXA.2012.59 　

    ISSN：1529-4188

  115. 大規模データを用いた半教師あり学習による高精度係り受け解析モデルの学習

    鈴木 潤, 磯崎 秀樹, 永田 昌明

    情報処理学会論文誌　52　(11)　3038-3051　2011年11月15日

    出版者・発行元： 情報処理学会

    ISSN：1882-7764

    詳細を見る 詳細を閉じる

    係り受け解析では，正解係り受け構造が付与されたデータを用いた教師あり学習により解析器を学習するのが現在最も一般的な方法であり，データ量が十分あれば非常に高い解析精度が得られることが実証されている．しかし，さらなる解析精度向上のため，正解データを増やし続けるのは作成に要する費用や時間の観点で現実的な方策ではない．そこで本論文では，正解係り受け構造が付与されていないデータも利用して解析精度を向上させる，いわゆる半教師あり学習に基づく係り受け解析モデルとその学習法を提案する．実験では，係り受け解析の標準評価データとして広く利用されている，係り受け構造が交差するチェコ語，交差しない英語の2言語の係り受け解析データを用いて，提案法の有効性を定性的，定量的に検証する，提案法は，従来の教師あり学習で得た係り受け解析器を大幅に上回る解析精度を達成することを示す．Intensive work have recently been undertaken to develop dependency parsing. Most of the recent developed dependency parsers are obtained by using supervised learning with labeled data. In contrast, this paper introduces a high-performance dependency parser trained by semi-supervised learning, which is able to effectively incorporate unlabeled data as an additional training data. We demonstrate the effectiveness of our proposed method on dependency parsing experiments using two widely used test collections: the Penn Treebank for English as a projective dependency parsing, and the Prague Dependency Treebank for Czech as a non-projective dependency parsing. Our results in the above datasets significantly outperform those obtained from conventional supervised learning approach.

  116. セグメント単位の評価指標最大化に基づく条件付確率場の学習 査読有り

    鈴木 潤, 磯崎 秀樹

    電子情報通信学会論文誌. D, 情報・システム = The IEICE transactions on information and systems (Japanese edition)　94　(5)　908-918　2011年5月1日

    出版者・発行元： 一般社団法人電子情報通信学会

    ISSN：1880-4535

    詳細を見る 詳細を閉じる

    サンプル間に依存関係があるデータに対して大域的な最適化による識別学習を行うモデルとして,条件付確率場が提案され多くの実タスクで良好な性能を示している.条件付確率場のパラメータ推定(学習)は,確率場全体のゆう度,あるいは,事後確率に基づく目的関数を最大化する方法が一般的である.しかし,実タスクを評価する際に用いる評価指標は,ゆう度や事後確率でなく,タスクの目的に合わせてF値等の様々な評価関数が用いられる.そのために,タスクの評価指標と学習時の目的関数間にはしばしば不整合が起きることがある.しかし,この不整合についてはこれまでほとんど考慮されてこなかった.そこで本論文では,条件付確率場の適用先として多く用いられている系列セグメンテーションタスクに焦点を当て,系列セグメンテーションタスクの評価に使う評価指標を直接学習時の目的関数として利用し,期待性能を向上させる枠組みを提案する.具体的には,セグメント単位の再現率,適合率,F値といったタスク評価指標を学習時の目的関数として導入する方法を提案する.実タスクでの実験として自然言語処理のチャンキング,固有表現抽出タスクを用いて提案法の性能を検証する.実際に用いるタスクの評価指標と学習時の目的関数を合わせることで,適用した評価指標での性能向上が可能であることを示す.

  117. Distributed Minimum Error Rate Training of SMT using Particle Swarm Optimization. 査読有り

    Jun Suzuki, Kevin Duh, Masaaki Nagata

    Fifth International Joint Conference on Natural Language Processing, IJCNLP 2011, Chiang Mai, Thailand, November 8-13, 2011　649-657　2011年

    出版者・発行元： The Association for Computer Linguistics

  118. Learning Condensed Feature Representations from Large Unsupervised Data Sets for Supervised Learning. 査読有り

    Jun Suzuki, Hideki Isozaki, Masaaki Nagata

    The 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, Proceedings of the Conference, 19-24 June, 2011, Portland, Oregon, USA - Short Papers　636-641　2011年

    出版者・発行元： The Association for Computer Linguistics

  119. 構文情報に依存しない文短縮手法

    平尾 努, 鈴木 潤, 磯崎 秀樹

    情報処理学会論文誌データベース（TOD）　2　(1)　1-9　2009年3月31日

    出版者・発行元： 情報処理学会

    ISSN：1882-7799

    詳細を見る 詳細を閉じる

    従来の文短縮手法の多くは，入力された文を構文木として表現し，その部分木を削除することで，短縮文を生成する．このようなアプローチは文法的な短縮文を生成するという観点からは理にかなっている．しかし，多くの場合，人間は構文木の刈り込みだけで短縮文を生成するわけではない．これは，構文情報に過度に依存することが，高品質な文短縮を行うための妨げとなることを示している．そこで，本稿では，構文情報を用いない文短縮手法を提案する．短縮文の言語としてのもっともらしさを構文情報を用いずに評価するため，原文と大規模コーパスから得た統計情報を組み合わせた新たな言語モデルを提案する．提案手法を文献 18) のテストセットを用いて評価したところ，自動評価指標においては，提案手法が従来法より優れていることを確認した．さらに，提案手法が日本語だけでなく英語でも有効であることも示す．Conventional sentence compression methods build a parse tree and then trim the tree. This approach is reasonable beacuse the compressed sentence keeps fluency. However, in many cases, reference compressions that were made by humans do not always retain syntactic structures of original sentences but they are acceptable. This implies that syntax is an impediment to achieving humanquality compression. Therefore, this paper propses a syntax free sentence compressor. As an alternative to syntactic information, we propose a novel language model that combines statistics from an original sentence and a general corpus. We conducted experimental evaluation on the test set used in Hirao, et al. 18). The results showed that our method outperformed the conventional method in automatic metrics. Moreover, we show the effectiveness of our method for English compression.

  120. 最適化問題としての文書要約

    平尾 努, 鈴木 潤, 磯崎 秀樹

    人工知能学会論文誌　24　(2)　223-231　2009年

    出版者・発行元： 一般社団法人 人工知能学会

    DOI： 10.1527/tjsai.24.223 　

    ISSN：1346-8030 1346-0714

    eISSN：1346-8030

  121. An Empirical Study of Semi-supervised Structured Conditional Models for Dependency Parsing. 査読有り

    Jun Suzuki, Hideki Isozaki, Xavier Carreras, Michael Collins 0001

    Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, EMNLP 2009, 6-7 August 2009, Singapore, A meeting of SIGDAT, a Special Interest Group of the ACL　551-560　2009年

    出版者・発行元： ACL

  122. A Syntax-Free Approach to Japanese Sentence Compression. 査読有り

    Tsutomu Hirao, Jun Suzuki, Hideki Isozaki

    ACL 2009, Proceedings of the 47th Annual Meeting of the Association for Computational Linguistics and the 4th International Joint Conference on Natural Language Processing of the AFNLP, 2-7 August 2009, Singapore　826-833　2009年

    出版者・発行元： The Association for Computer Linguistics

  123. NTT statistical machine translation system for IWSLT 2008. 査読有り

    Katsuhito Sudoh, Taro Watanabe, Jun Suzuki, Hajime Tsukada, Hideki Isozaki

    2008 International Workshop on Spoken Language Translation, IWSLT 2008, Honolulu, Hawaii, USA, October 20-21, 2008　92-97　2008年

    出版者・発行元： ISCA

  124. Multi-label Text Categorization with Model Combination based on F1-score Maximization. 査読有り

    Akinori Fujino, Hideki Isozaki, Jun Suzuki

    Third International Joint Conference on Natural Language Processing, IJCNLP 2008, Hyderabad, India, January 7-12, 2008　823-828　2008年

    出版者・発行元： The Association for Computer Linguistics

  125. Semi-Supervised Sequential Labeling and Segmentation Using Giga-Word Scale Unlabeled Data. 査読有り

    Jun Suzuki, Hideki Isozaki

    ACL 2008, Proceedings of the 46th Annual Meeting of the Association for Computational Linguistics, June 15-20, 2008, Columbus, Ohio, USA　665-673　2008年

    出版者・発行元： The Association for Computer Linguistics

  126. 識別学習による組合せ最適化問題としての文短縮手法

    平尾 努, 鈴木 潤, 磯崎 秀樹

    人工知能学会論文誌 = Transactions of the Japanese Society for Artificial Intelligence : AI　22　(6)　574-584　2007年

    出版者・発行元： 一般社団法人 人工知能学会

    DOI： 10.1527/tjsai.22.574 　

    ISSN：1346-0714

    eISSN：1346-8030

  127. Larger feature set approach for machine translation in IWSLT 2007. 査読有り

    Taro Watanabe, Jun Suzuki, Katsuhito Sudoh, Hajime Tsukada, Hideki Isozaki

    2007 International Workshop on Spoken Language Translation, IWSLT 2007, Trento, Italy, October 15-16, 2007　111-118　2007年

    出版者・発行元： ISCA

  128. Semi-Supervised Structured Output Learning Based on a Hybrid Generative and Discriminative Approach. 査読有り

    Jun Suzuki, Akinori Fujino, Hideki Isozaki

    EMNLP-CoNLL 2007, Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, June 28-30, 2007, Prague, Czech Republic　791-800　2007年

    出版者・発行元： ACL

  129. Online Large-Margin Training for Statistical Machine Translation. 査読有り

    Taro Watanabe, Jun Suzuki, Hajime Tsukada, Hideki Isozaki

    EMNLP-CoNLL 2007, Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning, June 28-30, 2007, Prague, Czech Republic　764-773　2007年

    出版者・発行元： ACL

  130. NTT statistical machine translation for IWSLT 2006. 査読有り

    Taro Watanabe, Jun Suzuki, Hajime Tsukada, Hideki Isozaki

    2006 International Workshop on Spoken Language Translation, IWSLT 2006, Keihanna Science City, Kyoto, Japan, November 27-28, 2006　95-102　2006年

    出版者・発行元： ISCA

  131. Training Conditional Random Fields with Multivariate Evaluation Measures. 査読有り

    Jun Suzuki, Erik McDermott, Hideki Isozaki

    COLING/ACL 2006, VOLS 1 AND 2, PROCEEDINGS OF THE CONFERENCE　217-224　2006年

    DOI： 10.3115/1220175.1220203 　

  132. Identifying Bloggers' Residential Areas. 査読有り

    Norihito Yasuda, Tsutomu Hirao, Jun Suzuki, Hideki Isozaki

    Computational Approaches to Analyzing Weblogs, Papers from the 2006 AAAI Spring Symposium, Technical Report SS-06-03, Stanford, California, USA, March 27-29, 2006　231-236　2006年

    出版者・発行元： AAAI

  133. Hierarchical directed acyclic graph kernel 査読有り

    Suzuki, J., Sasaki, Y., Maeda, E.

    Systems and Computers in Japan　37　(10)　58-68　2006年

    DOI： 10.1002/scj.20485 　

    ISSN：0882-1666 1520-684X

  134. 単一言語コーパスにおける文の自動対応付け手法 査読有り

    平尾 努, 鈴木 潤, 磯崎 秀樹, 前田 英作

    情報処理学会論文誌　46　(10)　2533-2545　2005年10月15日

    出版者・発行元： 一般社団法人情報処理学会

    ISSN：1882-7764

    詳細を見る 詳細を閉じる

    一般に，同じ内容について書かれた異なる文書を対象として，同一内容の文間に対応付け（アラインメント）を行ったコーパスを作成することができる．こうした対応付けコーパスは，構文変形規則や言い換え規則など，文生成に関する知見を得ることができ，自然言語処理の基盤技術を開発するうえで必須である．特に，文書要約研究の立場からは，上記だけでなく，学習・評価データとしても重要な価値を持つ．こうしたコーパスを大量に収集するためには，高性能な自動対応付け手法が必要とされる．しかし，従来手法は，類似度を計算するためのテキストの基本単位や類似尺度そのものに問題があった．そこで本論文では，対応付けの基本単位として依存構造木の経路を用い，各経路に最も類似する経路を有する文を対応文とする手法を提案する．単語の言い換えを吸収するため，経路を単語とその意味カテゴリからなるノードの系列と見なし，系列パターンに基づき経路間の類似度を決定する．Text Summarization Challenge（TSC）で作成された単一文書，複数文書要約のデータを用いて提案手法による対応付け結果を人間による対応付け結果と比較した結果，単一文書要約データの場合でF値0.95～0.97程度，複数文書要約データの場合にF 値0.72～0.83程度という従来手法より高い成績であった．Monolingual aligned corpora are valuable for natural language processing. In order to generate text, we can learn various kinds of knowledge from such corpora. For instance, summary sentences aligned with sentences from original documents are useful for the study of automatic summarization. However, conventional methods are not suitable for one-to-many or many-to-one correspondence. Moreover, the similarity measure for alignment is not optimal. In this paper, we propose an automatic alignment method for these monolingual corpora. First, we transform a sentence into the set of paths in its dependency structure. Next, we calculate similarity between the paths based on ESK (Extended String Subsequence Kernel) which consider both sequential patterns and semantic labels. By using these procedures, we can derive a one-to-many or many-to-one correspondence among sentences. Experimental results using TSC (Text Summarization Challenge) corpora, which align summary sentences with original sentences, showed that our method obtained 0.95窶骭0.97 F-measure for single document summarization data and 0.72窶骭0.83 F-measure for multiple document summarization data.

  135. 階層非循環有向グラフカーネル 査読有り

    鈴木 潤, 佐々木 裕, 前田 英作

    電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理 = The transactions of the Institute of Electronics, Information and Communication Engineers. D-II　88　(2)　230-240　2005年2月1日

    出版者・発行元： 一般社団法人電子情報通信学会

    ISSN：0915-1923

    詳細を見る 詳細を閉じる

    本論文では, テキスト処理に適したカーネル「階層非循環有向グラフカーネル」(HDAGカーネル)を提案する.テキスト処理のあらゆるタスクにおいて, テキストのもつ情報をどのように表現し, どのように演算にのせるかということは, 常に我々が直面する重要な課題である.これまで, 出現単語の頻度や系列などに着目したカーネル関数が提案されているが, テキストの表層的な情報しか扱っていない, 表現形式の有効性が十分に検証されていない, などの問題点があった.そこで, 階層非循環有向グラフ, すなわち, グラフ内のノードがサブグラフにより表現されるような構造をもつ有向グラフをテキストの表現形式として利用し, 階層的に構造化される様々な言語的特徴を統一的に表現することを可能にした.また, このグラフを入力とするカーネル関数を定義することにより, 実用的な計算量で言語的特徴を考慮したテキスト間の演算を実現した.テキスト処理の実タスクの一つである質問分類タスクを取り上げ, Sequence Kernel, Tree Kernel, Bag-of-words Kernelなどの従来手法との性能比較行い, 提案手法の有効性を実証した.

  136. Sequence and Tree Kernels with Statistical Feature Mining. 査読有り

    Jun Suzuki, Hideki Isozaki

    Advances in Neural Information Processing Systems 18 [Neural Information Processing Systems, NIPS 2005, December 5-8, 2005, Vancouver, British Columbia, Canada]　1321-1328　2005年

  137. The NTT statistical machine translation system for IWSLT2005. 査読有り

    Hajime Tsukada, Taro Watanabe, Jun Suzuki, Hideto Kazawa, Hideki Isozaki

    2005 International Workshop on Spoken Language Translation, IWSLT 2005, Pittsburgh, PA, USA, October 24-25, 2005　112-117　2005年

    出版者・発行元： ISCA

  138. Boosting-based Parse Reranking with Subtree Features. 査読有り

    Taku Kudo, Jun Suzuki, Hideki Isozaki

    ACL 2005, 43rd Annual Meeting of the Association for Computational Linguistics, Proceedings of the Conference, 25-30 June 2005, University of Michigan, USA　189-196　2005年

    出版者・発行元： The Association for Computer Linguistics

    DOI： 10.3115/1219840.1219864 　

  139. SVMを用いた学習型質問応答システムSAIQA－II 査読有り

    佐々木 裕, 磯崎 秀樹, 鈴木 潤, 国領 弘治, 平尾 努, 賀沢 秀人, 前田 英作

    情報処理学会論文誌　45　(2)　635-646　2004年2月15日

    出版者・発行元： 一般社団法人情報処理学会

    ISSN：1882-7764

    詳細を見る 詳細を閉じる

    近年，大量の文書を用いて自然文によるユーザからの質問に答える質問応答（QA: Question Answering）システムに関する研究が注目を集めている．これまでいくつかのQAシステムが開発されてきたが，それらの多くは人手で作成されたルールや評価関数を用いて，質問の答えを大量の文書から抽出するアプローチをとっていた．これに対し，本論文では，機械学習技術を用いて，日本語QAシステムの主要なコンポーネントをそれぞれ学習データから構築することにより，QAシステム全体を構築する方法について述べる．具体的には，質問タイプや答えの判定を2クラス分類問題としてとらえ，質問文やその正解例から学習された分類器により，これらの機能を実現する．本アプローチのフィージビリティの確認のため，機械学習手法Support Vector Machine（SVM）を用いて学習型QAシステムSAIQA-IIを実装し，2 000問の質問・正解データによるシステム全体の5分割交差検定を行った．その結果，システムの性能として，MRR値で約0.4，5位以内正解率で約55%の正解率が得られることが明らかになった．This paper describes a Japanese Question-Answering(QA) System, SAIQA-II.These years, researchers have been attracted to the study of developingOpen-Domain QA systems that find answers to a natural language question given by a user.Most of conventional QA systems take an approach to manually constructing rules and evaluation functions to find answers to a question.This paper regards the specifications of main components of a QA system,question analysis and answer extraction, as 2-class classification problems.The question analysis determines the question type of a given question andthe answer extraction selects answer candidates thatmatch the question types. To confirm the feasibility of our approach,SAIQA-II was implemented using Support Vector Machines (SVMs).We conducted experiments on a QA test collection with 2,000 question-answer pairs based on 5-fold cross validation.Experimental results showed that the trained system achieved about 0.4 in MRR andabout 55% in TOP5 accuracy.

  140. Dependency-based Sentence Alignment for Multiple Document Summarization. 査読有り

    Tsutomu Hirao, Jun Suzuki, Hideki Isozaki, Eisaku Maeda

    COLING 2004, 20th International Conference on Computational Linguistics, Proceedings of the Conference, 23-27 August 2004, Geneva, Switzerland　2004年

  141. Convolution Kernels with Feature Selection for Natural Language Processing Tasks. 査読有り

    Jun Suzuki, Hideki Isozaki, Eisaku Maeda

    Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics, 21-26 July, 2004, Barcelona, Spain.　119-126　2004年

    出版者・発行元： ACL

    DOI： 10.3115/1218955.1218971 　

  142. 単語属性N-gramと統計的機械学習による質問タイプ同定 査読有り

    鈴木 潤, 佐々木 裕, 前田 英作

    情報処理学会論文誌　44　(11)　2839-2853　2003年11月15日

    出版者・発行元： 一般社団法人情報処理学会

    ISSN：1882-7764

    詳細を見る 詳細を閉じる

    質問タイプ同定とは，自然文で与えられた質問文の意図を同定する技術である．この技術は，ユーザからの要求意図を正しく理解するために必須であり，質問応答，対話，情報検索/抽出等関連する様々なアプリケーションに広く適用可能である．精度の良い質問タイプ同定を実現するためには，質問文中の多種多様な言語表現から質問タイプ同定に有効な特徴を抽出することと，抽出された様々な特徴から最適な質問タイプ同定器を構築することが必要となる．本論文では，質問タイプ同定のための特徴を単語属性 $N$-gramにより抽出する手法を提案し，この単語属性 N-gramと機械学習手法Support Vector Machine（SVM）とを組み合わせた質問タイプ同定手法を提案する．質問文10 000問を用いた評価実験により既存手法との比較を行い，提案手法の有効性を実証した．さらに，単語属性 N-gramにより抽出された素性を解析した結果についても報告する．Question type classification attempts to identify the intention of a given question.The approach to high performance question classification typically yields an extremely large number of features because question types are well featured by the structures of the word attributes inside the questions.We propose a technique for finding ``word attribute N-gram&#039;&#039; to extract effective features for question type classification, and then, we use these features with machine learning technique, Support Vector Machines (SVM), to create a high performance question type classifier.Results of question type classification experiments using 10,000 question samples showed much higher performance than the other conventional methods.Moreover, we clarify the performance of a feature extraction method and the effective features of each question type.

  143. 質問応答システム: SAIQA―何でも答える物知り博士 査読有り

    前田英作, 磯崎秀樹, 佐々木裕, 賀沢秀人, 平尾努, 鈴木潤

    NTT R & D　52　(2)　122-133　2003年2月

    出版者・発行元： 電気通信協会

    ISSN：0915-2326

  144. Question answering system: SAIQA - A "learned computer" that answers any questions

    Maeda, E., Isozaki, H., Sasaki, Y., Kazawa, H., Hirao, T., Suzuki, J.

    NTT R and D　52　(2)　2003年

  145. Kernels for Structured Natural Language Data. 査読有り

    Jun Suzuki, Yutaka Sasaki, Eisaku Maeda

    Advances in Neural Information Processing Systems 16 [Neural Information Processing Systems, NIPS 2003, December 8-13, 2003, Vancouver and Whistler, British Columbia, Canada]　643-650　2003年

    出版者・発行元： MIT Press

  146. Hierarchical Directed Acyclic Graph Kernel: Methods for Structured Natural Language Data. 査読有り

    Jun Suzuki, Tsutomu Hirao, Yutaka Sasaki, Eisaku Maeda

    41ST ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS, PROCEEDINGS OF THE CONFERENCE　32-39　2003年

    DOI： 10.3115/1075096.1075101 　

  147. SVM Answer Selection for Open-Domain Question Answering. 査読有り

    Jun Suzuki, Yutaka Sasaki, Eisaku Maeda

    19th International Conference on Computational Linguistics, COLING 2002, Howard International House and Academia Sinica, Taipei, Taiwan, August 24 - September 1, 2002　2002年

︎全件表示 ︎最初の5件までを表示

MISC 185

  1. 営業日報のテキスト分析による営業マネージャ向け案件管理AIの提案

    飯塚新司, 塚原朋哉, 星魁人, 鈴木潤

    情報処理学会全国大会講演論文集　86th　(2)　2024年

  2. 大規模言語モデル事前学習の安定化

    高瀬翔, 高瀬翔, 清野舜, 清野舜, 小林颯介, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　30th　2024年

    ISSN： 2188-4420

  3. 異言語間対話支援における誤訳警告メッセージの有効性調査

    LI Yunmeng, 鈴木潤, 鈴木潤, 森下睦, 阿部香央莉, 阿部香央莉, 乾健太郎, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　30th　2024年

    ISSN： 2188-4420

  4. Integrated Gradientsにおける理想の積分ステップ数はインスタンス毎に異なる

    牧野雅紘, 浅妻佑弥, 浅妻佑弥, 佐々木翔大, 佐々木翔大, 鈴木潤, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　30th　2024年

    ISSN： 2188-4420

  5. 事実正誤判定が不要な生成応答の検出に向けたデータセットの収集と分析

    亀井遼平, 塩野大輝, 赤間怜奈, 赤間怜奈, 鈴木潤, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　30th　2024年

    ISSN： 2188-4420

  6. InstructDoc:自然言語指示に基づく視覚的文書理解

    田中涼太, 田中涼太, 壱岐太一, 西田京介, 齋藤邦子, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　30th　2024年

    ISSN： 2188-4420

  7. 日本語日常対話コーパスへの基礎解析アノテーション

    赤間怜奈, 赤間怜奈, 浅原正幸, 若狭絢, 大村舞, 鈴木潤, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　30th　2024年

    ISSN： 2188-4420

  8. 雑談応答生成モデルによる矛盾応答の大規模収集

    佐藤志貴, 赤間怜奈, 赤間怜奈, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　30th　2024年

    ISSN： 2188-4420

  9. 英語中心の大規模言語モデルの言語横断汎化能力

    謝素春, 佐々木翔大, LI Yunmeng, 坂田将樹, 坂田将樹, 赤間怜奈, 赤間怜奈, 鈴木潤, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　30th　2024年

    ISSN： 2188-4420

  10. 文脈内学習における文脈内事例の寄与度推定

    葉夢宇, 栗林樹生, 小林悟郎, 小林悟郎, 鈴木潤, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　30th　2024年

    ISSN： 2188-4420

  11. 大規模視覚言語モデルに関する指示追従能力の検証

    塩野大輝, 宮脇峻平, 田中涼太, 田中涼太, 鈴木潤, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　30th　2024年

    ISSN： 2188-4420

  12. 対話モデルに対する敵対的プロンプトの効率的な最適化

    矢野一樹, 綿岡晃輝, TRAN Thien Q., 高橋翼, LIEW Seng Pei, 鈴木潤, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　30th　2024年

    ISSN： 2188-4420

  13. 指示文からの画像生成における配置指定能力の調査

    木村昴, 工藤慧音, 赤間怜奈, 赤間怜奈, 鈴木潤, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　29th　2023年

    ISSN： 2188-4420

  14. 計算資源が限られた複数組織での出力選択による協働の検討

    伊藤郁海, 伊藤拓海, 伊藤拓海, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　29th　2023年

    ISSN： 2188-4420

  15. 文単位のNbest候補制約に基づく文書翻訳

    駒田啓伍, 森下睦, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　29th　2023年

    ISSN： 2188-4420

  16. 自然言語生成タスクの自動評価指標のためのドメイン外検出

    伊藤拓海, 森下睦, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　29th　2023年

    ISSN： 2188-4420

  17. Follow-up質問による矛盾応答収集の提案

    佐藤志貴, 赤間怜奈, 赤間怜奈, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　29th　2023年

    ISSN： 2188-4420

  18. 訓練データ中の頻度バイアスを解消する前処理の提案

    神戸隆志, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　29th　2023年

    ISSN： 2188-4420

  19. 画像キャプションを利用したIconQAタスクへのアプローチ

    塩野大輝, 宮脇峻平, 宮脇峻平, 長澤春希, 鈴木潤, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　29th　2023年

    ISSN： 2188-4420

  20. XAIにおける忠実性評価手法の考察

    牧野雅紘, 浅妻佑弥, 浅妻佑弥, 佐々木翔大, 佐々木翔大, 鈴木潤, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　29th　2023年

    ISSN： 2188-4420

  21. 人間同士の雑談における話題遷移モデリング

    岸波洋介, 赤間怜奈, 赤間怜奈, 佐藤志貴, 徳久良子, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　29th　2023年

    ISSN： 2188-4420

  22. 異言語間対話を支援する日英雑談対話誤訳検出

    李云蒙, 鈴木潤, 鈴木潤, 森下睦, 阿部香央莉, 徳久良子, ブラサール アナ, ブラサール アナ, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　29th　2023年

    ISSN： 2188-4420

  23. 日本語日常対話コーパスの構築

    赤間怜奈, 赤間怜奈, 磯部順子, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　29th　2023年

    ISSN： 2188-4420

  24. 思考連鎖指示における大規模言語モデルの否定表現理解

    葉夢宇, 栗林樹生, 栗林樹生, 舟山弘晃, 舟山弘晃, 鈴木潤, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　29th　2023年

    ISSN： 2188-4420

  25. 事前学習モデルを活用したEnd-to-end型動画キーフレーム物語生成法

    仲村祐希, 工藤慧音, 鈴木潤, 清水伸幸

    言語処理学会年次大会発表論文集(Web)　29th　2023年

    ISSN： 2188-4420

  26. 白色化が単語埋め込みに及ぼす効果の検証

    佐々木翔大, 佐々木翔大, HEINZERLING Benjamin, HEINZERLING Benjamin, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　29th　2023年

    ISSN： 2188-4420

  27. 事前学習済み言語モデルの追加学習用データ量の増加に応じた分類性能伸長予測法の提案

    倉元俊輝, 鈴木潤

    人工知能学会全国大会論文集(Web)　37th　2023年

    ISSN： 2758-7347

  28. Refactoring Programs Using Large Language Models with Few-Shot Examples.

    Atsushi Shirafuji, Yusuke Oda, Jun Suzuki, Makoto Morishita, Yutaka Watanobe

    CoRR　abs/2311.11690　2023年

    DOI： 10.48550/arXiv.2311.11690 　

  29. Exploring the Robustness of Large Language Models for Solving Programming Problems.

    Atsushi Shirafuji, Yutaka Watanobe, Takumi Ito, Makoto Morishita, Yuki Nakamura, Yusuke Oda, Jun Suzuki

    CoRR　abs/2306.14583　2023年

    DOI： 10.48550/arXiv.2306.14583 　

  30. N-best Response-based Analysis of Contradiction-awareness in Neural Response Generation Models.

    Shiki Sato, Reina Akama, Hiroki Ouchi, Ryoko Tokuhisa, Jun Suzuki, Kentaro Inui

    CoRR　abs/2208.02578　2022年8月

    DOI： 10.48550/arXiv.2208.02578 　

    詳細を見る 詳細を閉じる

    Avoiding the generation of responses that contradict the preceding context is a significant challenge in dialogue response generation. One feasible method is post-processing, such as filtering out contradicting responses from a resulting n-best response list. In this scenario, the quality of the n-best list considerably affects the occurrence of contradictions because the final response is chosen from this n-best list. This study quantitatively analyzes the contextual contradiction-awareness of neural response generation models using the consistency of the n-best lists. Particularly, we used polar questions as stimulus inputs for concise and quantitative analyses. Our tests illustrate the contradiction-awareness of recent neural response generation models and methodologies, followed by a discussion of their properties and limitations.

  31. Balancing Cost and Quality: An Exploration of Human-in-the-loop Frameworks for Automated Short Answer Scoring.

    Hiroaki Funayama, Tasuku Sato, Yuichiroh Matsubayashi, Tomoya Mizumoto, Jun Suzuki, Kentaro Inui

    CoRR　abs/2206.08288　2022年6月

    DOI： 10.48550/arXiv.2206.08288 　

    詳細を見る 詳細を閉じる

    Short answer scoring (SAS) is the task of grading short text written by a learner. In recent years, deep-learning-based approaches have substantially improved the performance of SAS models, but how to guarantee high-quality predictions still remains a critical issue when applying such models to the education field. Towards guaranteeing high-quality predictions, we present the first study of exploring the use of human-in-the-loop framework for minimizing the grading cost while guaranteeing the grading quality by allowing a SAS model to share the grading task with a human grader. Specifically, by introducing a confidence estimation method for indicating the reliability of the model predictions, one can guarantee the scoring quality by utilizing only predictions with high reliability for the scoring results and casting predictions with low reliability to human graders. In our experiments, we investigate the feasibility of the proposed framework using multiple confidence estimation methods and multiple SAS datasets. We find that our human-in-the-loop framework allows automatic scoring models and human graders to achieve the target scoring quality.

  32. On Layer Normalizations and Residual Connections in Transformers.

    Sho Takase, Shun Kiyono, Sosuke Kobayashi, Jun Suzuki

    CoRR　abs/2206.00330　2022年6月

    DOI： 10.48550/arXiv.2206.00330 　

    詳細を見る 詳細を閉じる

    In the perspective of a layer normalization (LN) position, the architecture of Transformers can be categorized into two types: Post-LN and Pre-LN. Recent Transformers prefer to select Pre-LN because the training in Post-LN with deep Transformers, e.g., ten or more layers, often becomes unstable, resulting in useless models. However, in contrast, Post-LN has also consistently achieved better performance than Pre-LN in relatively shallow Transformers, e.g., six or fewer layers. This study first investigates the reason for these discrepant observations empirically and theoretically and discovers 1, the LN in Post-LN is the source of the vanishing gradient problem that mainly leads the unstable training whereas Pre-LN prevents it, and 2, Post-LN tends to preserve larger gradient norms in higher layers during the back-propagation that may lead an effective training. Exploiting the new findings, we propose a method that can equip both higher stability and effective training by a simple modification from Post-LN. We conduct experiments on a wide range of text generation tasks and demonstrate that our method outperforms Pre-LN, and stable training regardless of the shallow or deep layer settings.

  33. Diverse Lottery Tickets Boost Ensemble from a Single Pretrained Model.

    Sosuke Kobayashi, Shun Kiyono, Jun Suzuki, Kentaro Inui

    CoRR　abs/2205.11833　2022年5月

    DOI： 10.48550/arXiv.2205.11833 　

    詳細を見る 詳細を閉じる

    Ensembling is a popular method used to improve performance as a last resort. However, ensembling multiple models finetuned from a single pretrained model has been not very effective; this could be due to the lack of diversity among ensemble members. This paper proposes Multi-Ticket Ensemble, which finetunes different subnetworks of a single pretrained model and ensembles them. We empirically demonstrated that winning-ticket subnetworks produced more diverse predictions than dense networks, and their ensemble outperformed the standard ensemble on some tasks.

  34. Towards Automated Document Revision: Grammatical Error Correction, Fluency Edits, and Beyond.

    Masato Mita, Keisuke Sakaguchi, Masato Hagiwara, Tomoya Mizumoto, Jun Suzuki, Kentaro Inui

    CoRR　abs/2205.11484　2022年5月

    DOI： 10.48550/arXiv.2205.11484 　

    詳細を見る 詳細を閉じる

    Natural language processing technology has rapidly improved automated grammatical error correction tasks, and the community begins to explore document-level revision as one of the next challenges. To go beyond sentence-level automated grammatical error correction to NLP-based document-level revision assistant, there are two major obstacles: (1) there are few public corpora with document-level revisions being annotated by professional editors, and (2) it is not feasible to elicit all possible references and evaluate the quality of revision with such references because there are infinite possibilities of revision. This paper tackles these challenges. First, we introduce a new document-revision corpus, TETRA, where professional editors revised academic papers sampled from the ACL anthology which contain few trivial grammatical errors that enable us to focus more on document- and paragraph-level edits such as coherence and consistency. Second, we explore reference-less and interpretable methods for meta-evaluation that can detect quality improvements by document revision. We show the uniqueness of TETRA compared with existing document revision corpora and demonstrate that a fine-tuned pre-trained language model can discriminate the quality of documents after revision even when the difference is subtle. This promising result will encourage the community to further explore automated document revision models and metrics in future.

  35. JParaCrawl v3.0:大規模日英対訳コーパス

    森下睦, 森下睦, 帖佐克己, 鈴木潤, 永田昌明

    言語処理学会年次大会発表論文集(Web)　28th　2022年3月

    ISSN： 2188-4420

  36. 文字情報を考慮したシーン画像検索

    宮脇峻平, 長谷川拓, 西田京介, 加藤拓真, 鈴木潤, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　28th　2022年3月

    ISSN： 2188-4420

  37. 多様な話者との自動対話に基づく雑談システムの自動評価

    佐藤志貴, 岸波洋介, 杉山弘晃, 赤間怜奈, 赤間怜奈, 徳久良子, 鈴木潤, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　28th　2022年3月

    ISSN： 2188-4420

  38. シフト付き絶対位置埋め込み

    清野舜, 清野舜, 小林颯介, 小林颯介, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　28th　2022年3月

    ISSN： 2188-4420

  39. 動画キーフレーム物語生成手法の提案

    佐藤俊, 佐藤汰亮, 鈴木潤, 清水伸幸

    言語処理学会年次大会発表論文集(Web)　28th　2022年3月

    ISSN： 2188-4420

  40. 記述式答案自動採点における確信度推定とその役割

    舟山弘晃, 舟山弘晃, 佐藤汰亮, 佐藤汰亮, 松林優一郎, 松林優一郎, 水本智也, 水本智也, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　28th　2022年3月

    ISSN： 2188-4420

  41. 規範的な日本語日常対話コーパスの設計

    赤間怜奈, 赤間怜奈, 磯部順子, 磯部順子, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　28th　2022年3月

    ISSN： 2188-4420

  42. Transformerを多層にする際の勾配消失問題と解決法について

    高瀬翔, 清野舜, 清野舜, 小林颯介, 小林颯介, 鈴木潤, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　28th　2022年3月

    ISSN： 2188-4420

  43. 論述リビジョンのためのメタ評価基盤

    三田雅人, 坂口慶祐, 萩原正人, 萩原正人, 水本智也, 水本智也, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　28th　2022年3月

    ISSN： 2188-4420

  44. ニューラル言語モデルの効率的な学習に向けた代表データ集合の獲得

    鈴木潤, 鈴木潤, 全炳河, 賀沢秀人

    言語処理学会年次大会発表論文集(Web)　28th　2022年3月

    ISSN： 2188-4420

  45. JParaCrawl v3.0: A Large-scale English-Japanese Parallel Corpus.

    Makoto Morishita, Katsuki Chousa, Jun Suzuki, Masaaki Nagata

    CoRR　abs/2202.12607　2022年2月

    詳細を見る 詳細を閉じる

    Most current machine translation models are mainly trained with parallel corpora, and their translation accuracy largely depends on the quality and quantity of the corpora. Although there are billions of parallel sentences for a few language pairs, effectively dealing with most language pairs is difficult due to a lack of publicly available parallel corpora. This paper creates a large parallel corpus for English-Japanese, a language pair for which only limited resources are available, compared to such resource-rich languages as English-German. It introduces a new web-based English-Japanese parallel corpus named JParaCrawl v3.0. Our new corpus contains more than 21 million unique parallel sentence pairs, which is more than twice as many as the previous JParaCrawl v2.0 corpus. Through experiments, we empirically show how our new corpus boosts the accuracy of machine translation models on various domains. The JParaCrawl v3.0 corpus will eventually be publicly available online for research purposes.

  46. Bipartite-play Dialogue Collection for Practical Automatic Evaluation of Dialogue Systems.

    Shiki Sato, Yosuke Kishinami, Hiroaki Sugiyama, Reina Akama, Ryoko Tokuhisa, Jun Suzuki

    CoRR　abs/2211.10596　2022年

    DOI： 10.48550/arXiv.2211.10596 　

  47. Target-Guided Open-Domain Conversation Planning.

    Yosuke Kishinami, Reina Akama, Shiki Sato, Ryoko Tokuhisa, Jun Suzuki, Kentaro Inui

    CoRR　abs/2209.09746　2022年

    DOI： 10.48550/arXiv.2209.09746 　

  48. 目標指向対話のためのサブゴール設計に基づく発話系列生成

    岸波 洋介, 赤間 怜奈, 佐藤 志貴, 徳久 良子, 鈴木 潤, 乾 健太郎

    人工知能学会研究会資料 言語・音声理解と対話処理研究会　93　70-73　2021年11月20日

    出版者・発行元： 一般社団法人 人工知能学会

    DOI： 10.11517/jsaislud.93.0_70 　

    ISSN： 0918-5682

    eISSN： 2436-4576

    詳細を見る 詳細を閉じる

    対話において説得や交渉，特定の話題への誘導を試みる際には，目標を達成できる自然な対話の流れを設計し，それに沿って能動的に対話を進めることが重要である．このとき，相手の発話は必ずしも事前に想定していた通りのものになるとは限らないため，一つの戦略として(1)ある時点から目標までの対話の流れを設計したうえで，(2)相手の発話に応じてその流れを更新していくことが考えられる．本研究では，誘導したい話題などの目標に向かって能動的に対話を進行可能な対話システム実現に向けて，まずは(1)，つまりシステムが一人二役で目標を達成できる自然な対話の流れを設計する手法を提案する．具体的には，知識グラフを用いて目標を達成可能な道筋の候補を作成し，応答生成モデルにより，作成した道筋を辿りながら自然な発話系列を生成する．実験では，提案手法の有効性を「特定の話題へ誘導する対話の設計」という問題設定で検証する．

  49. ライブコンペティション：「AI 王～クイズ AI 日本一決定戦～」 招待有り

    鈴木 潤, 松田 耕史, 鈴木 正敏, 加藤 拓真, 宮脇 峻平, 西田 京介

    自然言語処理　28　(3)　888-894　2021年9月

    出版者・発行元： 一般社団法人 言語処理学会

    DOI： 10.5715/jnlp.28.888 　

    ISSN： 1340-7619

    eISSN： 2185-8314

  50. 単語埋め込みの決定的縮約

    仲村祐希, 鈴木潤, 高橋諒, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　27th　2021年3月

    ISSN： 2188-4420

  51. オープンドメインQAにおけるDPRの有効性検証

    加藤拓真, 宮脇峻平, 西田京介, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　27th　2021年3月

    ISSN： 2188-4420

  52. 単一事例エキスパートの統合によるドメイン適応

    清野舜, 清野舜, 小林颯介, 鈴木潤, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　27th　2021年3月

    ISSN： 2188-4420

  53. オープンドメイン質問応答における解答可能性判別の役割

    鈴木正敏, 松田耕史, 大内啓樹, 鈴木潤, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　27th　2021年3月

    ISSN： 2188-4420

  54. 事例ベース依存構造解析のための依存関係表現学習

    大内啓樹, 鈴木潤, 小林颯介, 横井祥, 栗林樹生, 吉川将司, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　27th　2021年3月

    ISSN： 2188-4420

  55. 対話システムの先読み能力を分析可能なタスクの検討

    岸波洋介, 赤間怜奈, 佐藤志貴, 鈴木潤, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　27th　2021年3月

    ISSN： 2188-4420

  56. クラウドソーシングによるWebサイトマイニングを用いた翻訳モデルの即時領域適応

    森下睦, 鈴木潤, 永田昌明

    言語処理学会年次大会発表論文集(Web)　27th　2021年3月

    ISSN： 2188-4420

  57. 対話システムの矛盾応答の生成に対する脆弱性の分析

    佐藤志貴, 赤間怜奈, 大内啓樹, 鈴木潤, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　27th　2021年3月

    ISSN： 2188-4420

  58. Langsmith:人とシステムの協働による論文執筆

    伊藤拓海, 栗林樹生, 日高雅俊, 鈴木潤, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　27th　2021年3月

    ISSN： 2188-4420

  59. An Investigation Between Schema Linking and Text-to-SQL Performance

    Yasufumi Taniguchi, Hiroki Nakayama, Kubo Takahiro, Jun Suzuki

    2021年2月3日

    詳細を見る 詳細を閉じる

    Text-to-SQL is a crucial task toward developing methods for understanding natural language by computers. Recent neural approaches deliver excellent performance; however, models that are difficult to interpret inhibit future developments. Hence, this study aims to provide a better approach toward the interpretation of neural models. We hypothesize that the internal behavior of models at hand becomes much easier to analyze if we identify the detailed performance of schema linking simultaneously as the additional information of the text-to-SQL performance. We provide the ground-truth annotation of schema linking information onto the Spider dataset. We demonstrate the usefulness of the annotated data and how to analyze the current state-of-the-art neural models.

  60. 対話システムの先読み能力実現に向けた未来の展開まで生成する学習戦略の提案と分析

    岸波 洋介, 赤間 怜奈, 佐藤 志貴, 鈴木 潤, 徳久 良子, 乾 健太郎

    人工知能学会全国大会論文集　JSAI2021　3J2GS6b02-3J2GS6b02　2021年

    出版者・発行元： 一般社団法人 人工知能学会

    DOI： 10.11517/pjsai.jsai2021.0_3j2gs6b02 　

    ISSN： 2758-7347

    詳細を見る 詳細を閉じる

    人間同士の対話において，ある時点での発話は，過去の文脈だけでなく未来の展開に動機付けられる場合がしばしばある．未来の展開を先読みし，それを現在の発話に活用することは，能動的な対話の進行に重要な要素のひとつであり，近年，ニューラル対話応答生成の研究領域においても未来の展開を先読みする能力は注目されつつある．我々はこれまでに対話システムの先読み能力を分析可能な「先読み雑談タスク」を提案した．本研究では，対話システムの先読み能力を実現するために，既存の対話システムの枠組みに対し未来の展開まで生成する学習戦略を提案する．具体的には，入出力がそれぞれ過去の文脈，未来の展開を含む複数発話で構成される対話データを用いて，応答とその先の未来の展開まで生成するsequence-to-sequenceモデルを構築する．実験では，提案戦略で学習した対話システムを用いて「先読み雑談タスク」を実施し，システムが先読みをおこなえるのか分析する．実験結果から，既存の対話システムの枠組みで先読みをおこなう難しさを考察する．

  61. 動画キーフレーム物語生成タスクの提案とデータセットの構築

    北山 晃太郎, 鈴木 潤, 清水 伸幸

    人工知能学会全国大会論文集　JSAI2021　4I4GS7e03-4I4GS7e03　2021年

    出版者・発行元： 一般社団法人 人工知能学会

    DOI： 10.11517/pjsai.jsai2021.0_4i4gs7e03 　

    ISSN： 2758-7347

    詳細を見る 詳細を閉じる

    動画の自動要約は，開発者やエンドユーザーが動画の内容を確認するためのコストを軽減するための重要な技術の一つである．また，非常に多くの消費者が生成した動画の中から必要な動画のみを取得するための動画検索の手がかりとしても機能する．本論文では，特に動画の要約タスク（動画キーフレーム物語生成と呼ぶ）に焦点を当てている．このタスクでは，あらかじめ定義された数のキーフレームを抽出すると同時に，抽出された一連のキーフレームの説明文を生成することが要求される．最初に，この新しいタスクの定義を紹介する．また，人間が注釈を付けたキーフレームや説明文と比較して，キーフレームのマッチングと説明文の品質の両方の観点から，タスクの性能を評価するための2つの適切な評価尺度を定義する．次に，動画キーフレーム物語生成タスクの訓練と評価のために構築されたデータセットを紹介する．

  62. NeurIPS 2020 EfficientQA Competition: Systems, Analyses and Lessons Learned

    Sewon Min, Jordan Boyd-Graber, Chris Alberti, Danqi Chen, Eunsol Choi, Michael Collins, Kelvin Guu, Hannaneh Hajishirzi, Kenton Lee, Jennimaria Palomaki, Colin Raffel, Adam Roberts, Tom Kwiatkowski, Patrick Lewis, Yuxiang Wu, Heinrich Küttler, Linqing Liu, Pasquale Minervini, Pontus Stenetorp, Sebastian Riedel, Sohee Yang, Minjoon Seo, Gautier Izacard, Fabio Petroni, Lucas Hosseini, Nicola De Cao, Edouard Grave, Ikuya Yamada, Sonse Shimaoka, Masatoshi Suzuki, Shumpei Miyawaki, Shun Sato, Ryo Takahashi, Jun Suzuki, Martin Fajcik, Martin Docekal, Karel Ondrej, Pavel Smrz, Hao Cheng, Yelong Shen, Xiaodong Liu, Pengcheng He, Weizhu Chen, Jianfeng Gao, Barlas Oguz, Xilun Chen, Vladimir Karpukhin, Stan Peshterliev, Dmytro Okhonko, Michael Schlichtkrull, Sonal Gupta, Yashar Mehdad, Wen-tau Yih

    2021年1月1日

    詳細を見る 詳細を閉じる

    We review the EfficientQA competition from NeurIPS 2020. The competition focused on open-domain question answering (QA), where systems take natural language questions as input and return natural language answers. The aim of the competition was to build systems that can predict correct answers while also satisfying strict on-disk memory budgets. These memory budgets were designed to encourage contestants to explore the trade-off between storing retrieval corpora or the parameters of learned models. In this report, we describe the motivation and organization of the competition, review the best submissions, and analyze system predictions to inform a discussion of evaluation for open-domain QA.

  63. 訓練事例の影響の軽量な推定

    小林颯介, 小林颯介, 横井祥, 横井祥, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    自然言語処理(Web)　28　(2)　2020年12月8日

    ISSN： 2185-8314

  64. ILYS aoba bot:大規模ニューラル応答生成モデルとルールベースを統合した雑談対話システム

    藤原吏生, 岸波洋介, 今野颯人, 佐藤志貴, 佐藤汰亮, 宮脇峻平, 加藤拓真, 鈴木潤, 乾健太郎

    人工知能学会言語・音声理解と対話処理研究会資料　90th　2020年12月

    ISSN： 0918-5682

  65. PheMT: A Phenomenon-wise Dataset for Machine Translation Robustness on User-Generated Contents

    Ryo Fujii, Masato Mita, Kaori Abe, Kazuaki Hanawa, Makoto Morishita, Jun Suzuki, Kentaro Inui

    2020年11月4日

  66. Langsmith: An Interactive Academic Text Revision System

    Takumi Ito, Tatsuki Kuribayashi, Masatoshi Hidaka, Jun Suzuki, Kentaro Inui

    2020年10月9日

  67. A Self-Refinement Strategy for Noise Reduction in Grammatical Error Correction

    Masato Mita, Shun Kiyono, Masahiro Kaneko, Jun Suzuki, Kentaro Inui

    2020年10月7日

  68. Embeddings of Label Components for Sequence Labeling: A Case Study of Fine-grained Named Entity Recognition

    Takuma Kato, Kaori Abe, Hiroki Ouchi, Shumpei Miyawaki, Jun Suzuki, Kentaro Inui

    2020年6月2日

  69. Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction

    Masahiro Kaneko, Masato Mita, Shun Kiyono, Jun Suzuki, Kentaro Inui

    2020年5月3日

  70. Language Models as an Alternative Evaluator of Word Order Hypotheses: A Case Study in Japanese

    Tatsuki Kuribayashi, Takumi Ito, Jun Suzuki, Kentaro Inui

    2020年5月2日

  71. Single Model Ensemble using Pseudo-Tags and Distinct Vectors

    Ryosuke Kuwabara, Jun Suzuki, Hideki Nakayama

    2020年5月2日

  72. ニューラル対話応答生成のための言語非依存な低品質対話データフィルタリング法の提案と分析

    赤間怜奈, 横井祥, 鈴木潤, 乾健太郎

    人工知能学会全国大会(Web)　34th　4Q2GS902-4Q2GS902　2020年5月

    出版者・発行元： 一般社団法人 人工知能学会

    DOI： 10.11517/pjsai.jsai2020.0_4q2gs902 　

    詳細を見る 詳細を閉じる

    深層ニューラルネットワーク技術を用いた文生成（機械翻訳，自動要約，対話応答生成など）の研究領域では，訓練データの高品質化によりモデルの性能向上を図るアプローチが脚光を浴びている． 本研究では，ニューラル対話応答生成モデルの性能向上に向けて，訓練データ中の低品質な発話--応答ペアを検知するスコア関数を提案する．具体的には，「典型的な句の呼応関係の有無」と「話題の一貫性」のふたつの観点に着目し，連続する2発話について「対話（発話--応答ペア）としての許容度」をスコアとして算出する．提案法は特定の教師データを必要とせず，言語やドメインなどのデータの特性に依存しないため，理論上任意の対話データに適用できる． 実験では言語および規模の異なる複数対話データに提案法を適用し，提案スコアが人間の主観と相関を持つことを示す．さらに，提案スコアによる訓練データフィルタリングが応答生成モデルの性能向上に有効であることを自動評価および人手評価により示す．「典型的な句の呼応関係の有無」と「話題の一貫性」の各モデルの経験的な性能を確認・分析し，知見を報告する．

  73. ユーザ生成コンテンツの高品質な自動翻訳に向けた言語現象の体系的分析

    藤井諒, 三田雅人, 阿部香央莉, 塙一晃, 森下睦, 鈴木潤, 乾健太郎

    人工知能学会全国大会(Web)　34th　3Rin426-3Rin426　2020年5月

    出版者・発行元： 一般社団法人 人工知能学会

    DOI： 10.11517/pjsai.jsai2020.0_3rin426 　

    ISSN： 2758-7347

    詳細を見る 詳細を閉じる

    ニューラル機械翻訳(NMT)の登場により、高品質かつ大規模な学習データを入手可能なニュース記事や、出現語彙が限定された旅行会話などの翻訳品質は著しく向上した。しかし、ソーシャル・ネットワーキング・サービス(SNS)に代表されるユーザ生成コンテンツ(UGC)を対象とした場合、現状のNMTでも十分な翻訳品質を担保するのは難しい。これは、タイポや誤変換・表層の意図的な改変を含む表記の揺れ・日々新たに生成される固有名詞やネットスラングといった従来の翻訳コーパスには稀有な言語現象の存在に起因すると考えられる。UGCを適切に自動翻訳できるようにすることは、機械翻訳システムを異文化・他言語交流といった場で真に使えるコミュニケーションツールとする上では必須の要件であり、次に取り組むべき大きな課題の一つと言える。そこで本研究では、UGCに含まれる様々な言語現象の体系的分類を行い、現象の有無のみが異なる評価データを作成することで、評価の比較による各現象の影響度測定を行う。これにより、それぞれの現象が翻訳の品質に与える影響のより適切な評価を実現し、対処を必要とする重要な言語現象を明らかにする。

  74. 単語埋め込みのノルムと方向ベクトルを区別した文間最適輸送コスト

    横井祥, 高橋諒, 赤間怜奈, 鈴木潤, 乾健太郎

    人工知能学会全国大会(Web)　34th　3Q5GS903-3Q5GS903　2020年5月

    出版者・発行元： 一般社団法人 人工知能学会

    DOI： 10.11517/pjsai.jsai2020.0_3q5gs903 　

    ISSN： 2758-7347

    詳細を見る 詳細を閉じる

    ふたつの自然言語文の意味的類似性が計算機によって精緻に計算できるようになれば，多くの自然言語処理アプリケーションの性能向上が期待できる．本稿では単語ベクトルのアラインメントに基づく新しい類似性尺度を提案する． まず，単語ベクトルとノルム（大きさ）と方向ベクトル（向き）には，単語の重要度と意味がそれぞれ暗黙的にエンコードされていることを示す．さらに，単語ベクトルのアラインメントに基づく既存の文類似性尺度（Word Movers' Distance，DynaMax，BERTScore）は，いずれもノルムと方向ベクトルを“混ぜて”利用してしまっていることを指摘する．提案法は，単語ベクトルを単位超球面に射影し超球面上で最適輸送コストを計算する．これによりノルムは重要度の計算に，方向ベクトルは単語の意味的類似性の計算にのみ用いることができるようになる．最適輸送を用いる副次的効果として文の構造情報も考慮できるようになる． 実験では，現在最も盛んに取り組まれている文類似度計算のベンチマークテストであるSTS-Benchmarkを含む複数のデータセットで提案法が過去最高の性能を達成することを示す．

  75. Word Rotator's Distance

    Sho Yokoi, Ryo Takahashi, Reina Akama, Jun Suzuki, Kentaro Inui

    2020年4月30日

  76. Instance-Based Learning of Span Representations: A Case Study through Named Entity Recognition

    Hiroki Ouchi, Jun Suzuki, Sosuke Kobayashi, Sho Yokoi, Tatsuki Kuribayashi, Ryuto Konno, Kentaro Inui

    2020年4月29日

  77. Filtering Noisy Dialogue Corpora by Connectivity and Content Relatedness

    Reina Akama, Sho Yokoi, Jun Suzuki, Kentaro Inui

    2020年4月29日

  78. 負例を厳選した対話応答選択による対話応答生成システムの評価

    佐藤志貴, 赤間怜奈, 赤間怜奈, 大内啓樹, 大内啓樹, 大内啓樹, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    自然言語処理(Web)　29　(1)　2020年4月29日

    ISSN： 2185-8314

  79. JParaCrawl:大規模Webベース日英対訳コーパス

    森下睦, 鈴木潤, 永田昌明

    言語処理学会年次大会発表論文集(Web)　26th　2020年3月

    ISSN： 2188-4420

  80. 日本語語順分析に言語モデルを用いることの妥当性について

    栗林樹生, 伊藤拓海, 鈴木潤, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　26th　2020年3月

    ISSN： 2188-4420

  81. テキストを通して世界を見る:機械読解における常識的推論のための画像説明文の評価

    GALVAN-SOSA Diana, 西田京介, 松田耕史, 鈴木潤, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　26th　2020年3月

    ISSN： 2188-4420

  82. JAQKET:クイズを題材にした日本語QAデータセットの構築

    鈴木正敏, 鈴木潤, 松田耕史, 西田京介, 井之上直也

    言語処理学会年次大会発表論文集(Web)　26th　2020年3月

    ISSN： 2188-4420

  83. 文法誤り訂正のための自己改良戦略に基づくノイズ除去

    三田雅人, 清野舜, 金子正弘, 鈴木潤, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　26th　2020年3月

    ISSN： 2188-4420

  84. 擬似タグと線形移動ベクトルを用いた単一モデルによる擬似モデルアンサンブル

    桑原亮介, 鈴木潤, 中山英樹

    言語処理学会年次大会発表論文集(Web)　26th　2020年3月

    ISSN： 2188-4420

  85. スパン間の類似性に基づく事例ベース構造予測

    大内啓樹, 鈴木潤, 小林颯介, 横井祥, 栗林樹生, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　26th　2020年3月

    ISSN： 2188-4420

  86. 評価データのクラスタリングを用いた記述式答案自動採点のためのトランズダクティブ学習

    佐藤俊, 佐々木翔大, 大内啓樹, 鈴木潤, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　26th　2020年3月

    ISSN： 2188-4420

  87. 大規模疑似データを用いた高性能文法誤り訂正モデルの構築

    清野舜, 鈴木潤, 三田雅人, 水本智也, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　26th　2020年3月

    ISSN： 2188-4420

  88. 単一評価サンプルのためのトランズダクティブ学習

    佐々木翔大, 大内啓樹, 鈴木潤, BRASSARD Ana, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　26th　2020年3月

    ISSN： 2188-4420

  89. 超球面上での最適輸送に基づく文類似性尺度

    横井祥, 高橋諒, 赤間怜奈, 鈴木潤, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　26th　2020年3月

    ISSN： 2188-4420

  90. ベクトル長に基づく自己注意機構の解析

    小林悟郎, 栗林樹生, 横井祥, 鈴木潤, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　26th　2020年3月

    ISSN： 2188-4420

  91. Text-to-SQLにおけるSQL構文に着目したデータ拡張手法

    谷口泰史, 中山光樹, 久保隆宏, 鈴木潤

    言語処理学会年次大会発表論文集(Web)　26th　2020年3月

    ISSN： 2188-4420

  92. 記述式答案自動採点のための確信度推定手法の検討

    舟山弘晃, 佐々木翔大, 水本智也, 三田雅人, 鈴木潤, 松林優一郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　26th　2020年3月

    ISSN： 2188-4420

  93. 対話応答選択による対話応答生成モデルの評価

    佐藤志貴, 赤間怜奈, 大内啓樹, 鈴木潤, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　26th　2020年3月

    ISSN： 2188-4420

  94. 句の呼応と話題の一貫性に着目した低品質対話データの教師なしフィルタリング

    赤間怜奈, 鈴木潤, 横井祥, 乾健太郎, 赤間怜奈, 鈴木潤, 横井祥, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　26th　2020年

    ISSN： 2188-4420

  95. JParaCrawl: A Large Scale Web-Based English-Japanese Parallel Corpus

    Makoto Morishita, Jun Suzuki, Masaaki Nagata

    LREC　6704-6710　2019年11月25日

    詳細を見る 詳細を閉じる

    Recent machine translation algorithms mainly rely on parallel corpora. However, since the availability of parallel corpora remains limited, only some resource-rich language pairs can benefit from them. We constructed a parallel corpus for English-Japanese, for which the amount of publicly available parallel corpora is still limited. We constructed the parallel corpus by broadly crawling the web and automatically aligning parallel sentences. Our collected corpus, called JParaCrawl, amassed over 8.7 million sentence pairs. We show how it includes a broader range of domains and how a neural machine translation model trained with it works as a good pre-trained model for fine-tuning specific domains. The pre-training and fine-tuning approaches achieved or surpassed performance comparable to model training from the initial state and reduced the training time. Additionally, we trained the model with an in-domain dataset and JParaCrawl to show how we achieved the best performance with them. JParaCrawl and the pre-trained models are freely available online for research purposes.

  96. Diamonds in the Rough: Generating Fluent Sentences from Early-Stage Drafts for Academic Writing Assistance

    Takumi Ito, Tatsuki Kuribayashi, Hayato Kobayashi, Ana Brassard, Masato Hagiwara, Jun Suzuki, Kentaro Inui

    2019年10月21日

    詳細を見る 詳細を閉じる

    The writing process consists of several stages such as drafting, revising, editing, and proofreading. Studies on writing assistance, such as grammatical error correction (GEC), have mainly focused on sentence editing and proofreading, where surface-level issues such as typographical, spelling, or grammatical errors should be corrected. We broaden this focus to include the earlier revising stage, where sentences require adjustment to the information included or major rewriting and propose Sentence-level Revision (SentRev) as a new writing assistance task. Well-performing systems in this task can help inexperienced authors by producing fluent, complete sentences given their rough, incomplete drafts. We build a new freely available crowdsourced evaluation dataset consisting of incomplete sentences authored by non-native writers paired with their final versions extracted from published academic papers for developing and evaluating SentRev models. We also establish baseline performance on SentRev using our newly built evaluation dataset.

  97. Select and Attend: Towards Controllable Content Selection in Text Generation

    Xiaoyu Shen, Jun Suzuki, Kentaro Inui, Hui Su, Dietrich Klakow, Satoshi Sekine

    2019年9月10日

    詳細を見る 詳細を閉じる

    Many text generation tasks naturally contain two steps: content selection and surface realization. Current neural encoder-decoder models conflate both steps into a black-box architecture. As a result, the content to be described in the text cannot be explicitly controlled. This paper tackles this problem by decoupling content selection from the decoder. The decoupled content selection is human interpretable, whose value can be manually manipulated to control the content of generated text. The model can be trained end-to-end without human annotations by maximizing a lower bound of the marginal likelihood. We further propose an effective way to trade-off between performance and controllability with a single adjustable hyperparameter. In both data-to-text and headline generation tasks, our model achieves promising results, paving the way for controllable content selection in text generation.

  98. TEASPN: Framework and Protocol for Integrated Writing Assistance Environments

    Masato Hagiwara, Takumi Ito, Tatsuki Kuribayashi, Jun Suzuki, Kentaro Inui

    2019年9月5日

    詳細を見る 詳細を閉じる

    Language technologies play a key role in assisting people with their writing. Although there has been steady progress in e.g., grammatical error correction (GEC), human writers are yet to benefit from this progress due to the high development cost of integrating with writing software. We propose TEASPN, a protocol and an open-source framework for achieving integrated writing assistance environments. The protocol standardizes the way writing software communicates with servers that implement such technologies, allowing developers and researchers to integrate the latest developments in natural language processing (NLP) with low cost. As a result, users can enjoy the integrated experience in their favorite writing software. The results from experiments with human participants show that users use a wide range of technologies and rate their writing experience favorably, allowing them to write more fluent text.

  99. An Empirical Study of Incorporating Pseudo Data into Grammatical Error Correction

    Shun Kiyono, Jun Suzuki, Masato Mita, Tomoya Mizumoto, Kentaro Inui

    2019年9月2日

    詳細を見る 詳細を閉じる

    The incorporation of pseudo data in the training of grammatical error correction models has been one of the main factors in improving the performance of such models. However, consensus is lacking on experimental configurations, namely, choosing how the pseudo data should be generated or used. In this study, these choices are investigated through extensive experiments, and state-of-the-art performance is achieved on the CoNLL-2014 test set ($F_{0.5}=65.0$) and the official test set of the BEA-2019 shared task ($F_{0.5}=70.2$) without making any modifications to the model architecture.

  100. Character n-gram Embeddings to Improve RNN Language Models

    Sho Takase, Jun Suzuki, Masaaki Nagata

    2019年6月13日

    詳細を見る 詳細を閉じる

    This paper proposes a novel Recurrent Neural Network (RNN) language model that takes advantage of character information. We focus on character n-grams based on research in the field of word embedding construction (Wieting et al. 2016). Our proposed method constructs word embeddings from character n-gram embeddings and combines them with ordinary word embeddings. We demonstrate that the proposed method achieves the best perplexities on the language modeling datasets: Penn Treebank, WikiText-2, and WikiText-103. Moreover, we conduct experiments on application tasks: machine translation and headline generation. The experimental results indicate that our proposed method also positively affects these tasks.

  101. Personalized Visited-POI Assignment to Individual Raw GPS Trajectories

    Jun Suzuki, Yoshihiko Suhara, Hiroyuki Toda, Kyosuke Nishida

    2019年1月11日

    DOI： 10.1145/3317667 　

    詳細を見る 詳細を閉じる

    Knowledge discovery from GPS trajectory data is an important topic in several scientific areas, including data mining, human behavior analysis, and user modeling. This paper proposes a task that assigns personalized visited-POIs. Its goal is to estimate fine-grained and pre-defined locations (i.e., points of interest (POI)) that are actually visited by users and assign visited-location information to the corresponding span of their (personal) GPS trajectories. We also introduce a novel algorithm to solve this assignment task. First, we exhaustively extract stay-points as candidates for significant locations using a variant of a conventional stay-point extraction method. Then we select significant locations and simultaneously assign visited-POIs to them by considering various aspects, which we formulate in integer linear programming. Experimental results conducted on an actual user dataset show that our method achieves higher accuracy in the visited-POI assignment task than the various cascaded procedures of conventional methods.

  102. フレーズ単位の発話応答ペアを用いた対話応答生成の多様化

    佐藤志貴, 大内啓樹, 大内啓樹, 井之上直也, 井之上直也, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　25th　2019年

    ISSN： 2188-4420

  103. 強化学習によるプログラム生成のためのプログラム系列分析

    佐藤拓海, 大内啓樹, 大内啓樹, 松田耕史, 鈴木正敏, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　25th　2019年

    ISSN： 2188-4420

  104. 独立発話の繋ぎ合わせによる発話-応答ペアの獲得

    赤間怜奈, 武藤由依, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　25th　2019年

    ISSN： 2188-4420

  105. 意味役割付与におけるトランズダクティブ分野適応

    大内啓樹, 大内啓樹, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　25th　2019年

    ISSN： 2188-4420

  106. ライティング支援を想定した情報補完型生成

    伊藤拓海, 伊藤拓海, 栗林樹生, 栗林樹生, 小林隼人, 小林隼人, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　25th　2019年

    ISSN： 2188-4420

  107. サブワードに基づく単語分散表現の縮約モデリング

    佐々木翔大, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　25th　2019年

    ISSN： 2188-4420

  108. ニューラル機械翻訳における文脈情報の選択的利用

    藤井諒, 清野舜, 清野舜, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　25th　2019年

    ISSN： 2188-4420

  109. ExpertとImitatorの混合ネットワークによる大規模半教師あり学習

    清野舜, 清野舜, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　25th　2019年

    ISSN： 2188-4420

  110. 双方向学習と再現学習を統合したニューラル機械翻訳

    森下睦, 鈴木潤, 永田昌明

    言語処理学会年次大会発表論文集(Web)　25th　2019年

    ISSN： 2188-4420

  111. 画像/言語同時埋め込みベクトル空間の構築に向けた埋め込み粒度の比較検討

    北山晃太郎, 清野舜, 清野舜, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　25th　2019年

    ISSN： 2188-4420

  112. 言語モデルを用いた日本語の語順評価と基本語順の分析

    栗林樹生, 栗林樹生, 伊藤拓海, 伊藤拓海, 内山香, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　25th　2019年

    ISSN： 2188-4420

  113. 複数の言語単位に対するスパン表現を用いた論述構造解析

    栗林樹生, 大内啓樹, 大内啓樹, 井之上直也, 井之上直也, REISERT Paul, 三好利昇, 三好利昇, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　25th　2019年

    ISSN： 2188-4420

  114. 文法誤り訂正における反復訂正の効果検証

    浅野広樹, 浅野広樹, 鈴木潤, 鈴木潤, 水本智也, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　25th　2019年

    ISSN： 2188-4420

  115. 計算機科学論文における手法の利点・欠点に着目したデータの構築と分析

    白井穂乃, 井之上直也, 井之上直也, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    言語処理学会年次大会発表論文集(Web)　25th　2019年

    ISSN： 2188-4420

  116. クイズ解答タスクにおける大規模ラベルなしコーパスの利用:言語モデルとデータ拡張

    鈴木正敏, 松田耕史, 松田耕史, 大内啓樹, 大内啓樹, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    情報処理学会研究報告(Web)　2019　(NL-241)　2019年

  117. 機械翻訳における訳語一貫性評価用データセットの構築

    阿部香央莉, 鈴木潤, 鈴木潤, 鈴木潤, 永田昌明, 乾健太郎, 乾健太郎

    人工知能学会全国大会(Web)　33rd　2019年

    ISSN： 2758-7347

  118. 負例を厳選した対話応答選択テストセット構築の試みと分析

    佐藤志貴, 赤間怜奈, 赤間怜奈, 大内啓樹, 大内啓樹, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    人工知能学会言語・音声理解と対話処理研究会資料　87th　24　2019年

    出版者・発行元： 一般社団法人 人工知能学会

    DOI： 10.11517/jsaislud.87.0_24 　

    ISSN： 0918-5682

    eISSN： 2436-4576

  119. Mixture of Expert/Imitator Networks: Scalable Semi-supervised Learning Framework

    Shun Kiyono, Jun Suzuki, Kentaro Inui

    2018年10月13日

    詳細を見る 詳細を閉じる

    The current success of deep neural networks (DNNs) in an increasingly broad range of tasks involving artificial intelligence strongly depends on the quality and quantity of labeled training data. In general, the scarcity of labeled data, which is often observed in many natural language processing tasks, is one of the most important issues to be addressed. Semi-supervised learning (SSL) is a promising approach to overcoming this issue by incorporating a large amount of unlabeled data. In this paper, we propose a novel scalable method of SSL for text classification tasks. The unique property of our method, Mixture of Expert/Imitator Networks, is that imitator networks learn to "imitate" the estimated label distribution of the expert network over the unlabeled data, which potentially contributes a set of features for the classification. Our experiments demonstrate that the proposed method consistently improves the performance of several types of baseline DNNs. We also demonstrate that our method has the more data, better performance property with promising scalability to the amount of unlabeled data.

  120. Pointwise HSIC: A Linear-Time Kernelized Co-occurrence Norm for Sparse Linguistic Expressions

    Sho Yokoi, Sosuke Kobayashi, Kenji Fukumizu, Jun Suzuki, Kentaro Inui

    2018年9月4日

    DOI： 10.18653/v1/D18-1203 　

    詳細を見る 詳細を閉じる

    In this paper, we propose a new kernel-based co-occurrence measure that can be applied to sparse linguistic expressions (e.g., sentences) with a very short learning time, as an alternative to pointwise mutual information (PMI). As well as deriving PMI from mutual information, we derive this new measure from the Hilbert--Schmidt independence criterion (HSIC); thus, we call the new measure the pointwise HSIC (PHSIC). PHSIC can be interpreted as a smoothed variant of PMI that allows various similarity metrics (e.g., sentence embeddings) to be plugged in as kernels. Moreover, PHSIC can be estimated by simple and fast (linear in the size of the data) matrix calculations regardless of whether we use linear or nonlinear kernels. Empirically, in a dialogue response selection task, PHSIC is learned thousands of times faster than an RNN-based PMI while outperforming PMI in accuracy. In addition, we also demonstrate that PHSIC is beneficial as a criterion of a data selection task for machine translation owing to its ability to give high (low) scores to a consistent (inconsistent) pair with other pairs.

  121. Direct Output Connection for a High-Rank Language Model

    Sho Takase, Jun Suzuki, Masaaki Nagata

    2018年8月30日

    詳細を見る 詳細を閉じる

    This paper proposes a state-of-the-art recurrent neural network (RNN) language model that combines probability distributions computed not only from a final RNN layer but also from middle layers. Our proposed method raises the expressive power of a language model based on the matrix factorization interpretation of language modeling introduced by Yang et al. (2018). The proposed method improves the current state-of-the-art language model and achieves the best score on the Penn Treebank and WikiText-2, which are the standard benchmark datasets. Moreover, we indicate our proposed method contributes to two application tasks: machine translation and headline generation. Our code is publicly available at: https://github.com/nttcslab-nlp/doc_lm.

  122. Interpretable Adversarial Perturbation in Input Embedding Space for Text

    Motoki Sato, Jun Suzuki, Hiroyuki Shindo, Yuji Matsumoto

    2018年5月8日

    詳細を見る 詳細を閉じる

    Following great success in the image processing field, the idea of adversarial training has been applied to tasks in the natural language processing (NLP) field. One promising approach directly applies adversarial training developed in the image processing field to the input word embedding space instead of the discrete input space of texts. However, this approach abandons such interpretability as generating adversarial texts to significantly improve the performance of NLP tasks. This paper restores interpretability to such methods by restricting the directions of perturbations toward the existing words in the input embedding space. As a result, we can straightforwardly reconstruct each input with perturbations to an actual text by considering the perturbations to be the replacement of words in the sentence while maintaining or even improving the task performance.

  123. 自然言語処理における解釈可能な敵対的摂動の学習

    佐藤元紀, 鈴木潤, 鈴木潤, 進藤裕之, 進藤裕之, 松本裕治, 松本裕治

    言語処理学会年次大会発表論文集(Web)　24th　2018年

    ISSN： 2188-4420

  124. 中間層の利用によるRNN言語モデルの表現力向上

    高瀬翔, 鈴木潤, 永田昌明

    言語処理学会年次大会発表論文集(Web)　24th　2018年

    ISSN： 2188-4420

  125. 非即時的なタスク設定における固有表現抽出の改善

    澤山熱気, 鈴木潤, 鈴木潤, 進藤裕之, 進藤裕之, 松本裕治, 松本裕治

    言語処理学会年次大会発表論文集(Web)　24th　2018年

    ISSN： 2188-4420

  126. Zunkobot:複数の知識モジュールを統合した雑談対話システム

    阿部香央莉, 佐藤志貴, 佐藤拓海, 藤井諒, 松田耕史, 鈴木正敏, 山口健史, 赤間怜奈, 赤間怜奈, 大内啓樹, 大内啓樹, 鈴木潤, 鈴木潤, 乾健太郎, 乾健太郎

    人工知能学会言語・音声理解と対話処理研究会資料　84th　2018年

    ISSN： 0918-5682

  127. ニューラルヘッドライン生成における誤生成問題の改善

    清野舜, 高瀬翔, 鈴木潤, 岡崎直観, 乾健太郎, 乾健太郎, 永田昌明

    言語処理学会年次大会発表論文集(Web)　24th　2018年

    ISSN： 2188-4420

  128. Neural Fictitious Self-Play における探索由来のデータを含めない教師あり学習による性能改善

    河村 圭悟, 鈴木 潤, 鶴岡 慶雅

    人工知能学会全国大会論文集　2018　(0)　1N301-1N301　2018年

    出版者・発行元： 一般社団法人 人工知能学会

    ISSN： 1347-9881

    詳細を見る 詳細を閉じる

    &lt;p&gt;NFSPは強化学習を用いて不完全情報ゲームを解く手法であり，他の手法と比較して環境のダイナミクスや事前知識を用いることなくナッシュ均衡解を得られるというメリットがある． 本研究ではNFSPにおいて強化学習の探索で得られたデータを教師あり学習の学習に含めず，かつ探索の確率を一定に保つことで，単純化したポーカーゲームであるLeduc Hold&#039;emにおいてNFSPの性能が有意に向上することを実験的に示す．また．種々の探索確率について同様の実験を行い，結果について議論する．&lt;/p&gt;

  129. Source-side Prediction for Neural Headline Generation

    Shun Kiyono, Sho Takase, Jun Suzuki, Naoaki Okazaki, Kentaro Inui, Masaaki Nagata

    2017年12月22日

    詳細を見る 詳細を閉じる

    The encoder-decoder model is widely used in natural language generation tasks. However, the model sometimes suffers from repeated redundant generation, misses important phrases, and includes irrelevant entities. Toward solving these problems we propose a novel source-side token prediction module. Our method jointly estimates the probability distributions over source and target vocabularies to capture a correspondence between source and target tokens. The experiments show that the proposed model outperforms the current state-of-the-art method in the headline generation task. Additionally, we show that our method has an ability to learn a reasonable token-wise correspondence without knowing any true alignments.

  130. 自然言語解析 : 整数計画問題としての定式化と解法 (特集 自然言語処理と数理モデル)

    鈴木 潤

    オペレーションズ・リサーチ = Communications of the Operations Research Society of Japan : 経営の科学　62　(11)　703-710　2017年11月

    出版者・発行元： 日本オペレーションズ・リサーチ学会 ; 1956-

    ISSN： 0030-3674

  131. Input-to-Output Gate to Improve RNN Language Models

    Sho Takase, Jun Suzuki, Masaaki Nagata

    2017年9月26日

    詳細を見る 詳細を閉じる

    This paper proposes a reinforcing method that refines the output layers of existing Recurrent Neural Network (RNN) language models. We refer to our proposed method as Input-to-Output Gate (IOG). IOG has an extremely simple structure, and thus, can be easily combined with any RNN language models. Our experiments on the Penn Treebank and WikiText-2 datasets demonstrate that IOG consistently boosts the performance of several different types of current topline RNN language models.

  132. 単語埋め込みベクトルの圧縮法 (特集 人に迫るAI,人に寄り添うAI : corevoを支えるコミュニケーション科学)

    鈴木 潤, 永田 昌明

    NTT技術ジャーナル　29　(9)　17-20　2017年9月

    出版者・発行元： 電気通信協会

    ISSN： 0915-2318

  133. Enumeration of Extractive Oracle Summaries

    Tsutomu Hirao, Masaaki Nishino, Jun Suzuki, Masaaki Nagata

    2017年1月6日

    詳細を見る 詳細を閉じる

    To analyze the limitations and the future directions of the extractive summarization paradigm, this paper proposes an Integer Linear Programming (ILP) formulation to obtain extractive oracle summaries in terms of ROUGE-N. We also propose an algorithm that enumerates all of the oracle summaries for a set of reference summaries to exploit F-measures that evaluate which system summaries contain how many sentences that are extracted as an oracle summary. Our experimental results obtained from Document Understanding Conference (DUC) corpora demonstrated the following: (1) room still exists to improve the performance of extractive summarization; (2) the F-measures derived from the enumerated oracle summaries have significantly stronger correlations with human judgment than those derived from single oracle summaries.

  134. 単語出現頻度予測機能付きRNNエンコーダデコーダモデル

    鈴木潤, 永田昌明

    言語処理学会年次大会発表論文集(Web)　23rd　2017年

    ISSN： 2188-4420

  135. 擬似データの事前学習に基づくencoder-decoder型日本語崩れ表記正規化

    斉藤いつみ, 鈴木潤, 貞光九月, 西田京介, 齋藤邦子, 松尾義博

    言語処理学会年次大会発表論文集(Web)　23rd　2017年

    ISSN： 2188-4420

  136. Cutting-off Redundant Repeating Generations for Neural Abstractive Summarization

    Jun Suzuki, Masaaki Nagata

    2016年12月31日

    詳細を見る 詳細を閉じる

    This paper tackles the reduction of redundant repeating generation that is often observed in RNN-based encoder-decoder models. Our basic idea is to jointly estimate the upper-bound frequency of each target vocabulary in the encoder and control the output words based on the estimation in the decoder. Our method shows significant improvement over a strong RNN-based encoder-decoder baseline and achieved its best results on an abstractive summarization benchmark.

  137. 「NTTコミュニケーション科学基礎研究所 オープンハウス2016」開催報告

    鈴木 潤, 北川 智利, 土田 勝, 石黒 勝彦, 黒木 忍

    NTT技術ジャーナル　28　(9)　52-55　2016年9月

    出版者・発行元： 電気通信協会

    ISSN： 0915-2318

  138. 劣モジュラ関数最大化によるフレーズテーブル削減

    西野正彬, 鈴木潤, 永田昌明

    言語処理学会年次大会発表論文集(Web)　22nd　2016年

    ISSN： 2188-4420

  139. 単語分散表現獲得法の縮約モデリング

    鈴木潤, 永田昌明

    言語処理学会年次大会発表論文集(Web)　22nd　2016年

    ISSN： 2188-4420

  140. 逐次最適解更新による頑健な単語分散表現の学習方式

    鈴木 潤, 永田 昌明

    情報処理学会研究報告. SLP, 音声言語情報処理　2015　(16)　1-9　2015年5月18日

    出版者・発行元： 一般社団法人情報処理学会

    詳細を見る 詳細を閉じる

    SkipGram, GloVe といった対数双線形言語モデルに属する単語分散表現のモデルは,これまで確率的勾配法 (SGD) やその拡張である AdaGrad といった勾配に基づくオンライン学習アルゴリズムを用いてパラメタ推定を行ってきた.しかし,対数双線形言語モデルと勾配に基づくパラメタ推定法の組み合わせは,解の収束性や再現性といった観点で,必ずしも適切な選択とは言えない.本稿では,より信頼性の高い単語分散表現を獲得する枠組みを構築することを目的として,対数双線形言語モデルが持つ性質に対応したパラメタ推定法を提案する.

  141. オラクル要約の列挙

    平尾努, 西野正彬, 鈴木潤, 永田昌明

    言語処理学会年次大会発表論文集(Web)　20th　2014年

    ISSN： 2188-4420

  142. 列生成法を用いた高速なアラインメント

    西野正彬, 鈴木潤, 梅谷俊治, 平尾努, 永田昌明

    言語処理学会年次大会発表論文集(Web)　20th　2014年

    ISSN： 2188-4420

  143. 英中韓から日本語への特許文向け統計翻訳システム

    須藤克仁, 鈴木潤, 秋葉泰弘, 塚田元, 永田昌明

    言語処理学会年次大会発表論文集(Web)　20th　2014年

    ISSN： 2188-4420

  144. 係り受け木に基づく談話構造の提案

    吉田康久, 鈴木潤, 平尾努, 永田昌明

    言語処理学会年次大会発表論文集(Web)　20th　2014年

    ISSN： 2188-4420

  145. 大規模素性集合に対する教師あり縮約モデリング

    鈴木潤, 永田昌明

    言語処理学会年次大会発表論文集(Web)　20th　2014年

    ISSN： 2188-4420

  146. Boostingを用いた環境変化に頑健なWi-Fi屋内位置推定手法の提案

    谷内 大祐, 前川 卓也, 鈴木 潤, 岸野 泰恵

    研究報告ユビキタスコンピューティングシステム（UBI）　2013　(5)　1-7　2013年10月29日

    出版者・発行元： 一般社団法人情報処理学会

    ISSN： 0919-6072

    詳細を見る 詳細を閉じる

    近年，Wi-Fi 電波による屋内位置推定の研究が数多く行われている．最も一般的な手法である Wi-Fi フィンガープリンティングは，屋内のたくさんの場所においてあらかじめ計測しておいた Wi-Fi 信号強度の分布情報を用いて位置推定を行う．しかしながら Wi-Fi の電波環境は，周辺環境の変化やアクセスポイントの移動や消滅によって影響を受けるため，その位置推定精度は不安定である．そこで本研究では，さまざまな弱位置推定器からなる，Boosted 位置推定器を用いて環境変化に頑健な位置推定を行う．それぞれの弱位置推定器では，ランダムに選んだアクセスポイントの電波のみを用いて位置を推定する．これにより，特定のアクセスポイントからの電波に変化が起こっても，その影響を受けない弱位置推定器が存在する．そこで，提案手法ではパーティクルフィルタにより過去の軌跡から現在時刻における位置を推定し，その位置と各弱位置推定器の推定位置から，弱位置推定器の信頼性を計算する．そして，信頼度の高い弱位置推定器ほど重みを大きくして最終的な現在位置を求めることで，環境変化に頑健な位置推定を目指す．Recently, many indoor positioning techniques based on Wi-Fi signals have been studied. Wi-Fi fingerprinting technique, which is one of the most popular and practical method, makes use of the Wi-Fi received signal strength (RSS) information collected at several indoor places in advance to construct an indoor positioning model. However, changing environmental dynamics, i.e., layout changes and moving or removal of WiFi access points, may cause the instability of Wi-Fi based positioning methods. In this work, we try to cope with the instability with a boosted positioning estimator consists of several weak estimators. Each weak estimator uses only the signals from some randomly selected APs. Even when signal strength from a specific AP may change, some weak estimators that do not employ the AP are not affected by the change. In our proposed method, we track a user&#039;s coordinates with the particle filter and we evaluate each weak estimator&#039;s prediction by using the particle filter outputs. That is, we find weak estimators that are not affected by the AP by comparing the predictions and coordinates estimated by the particle filter based on the past coordinate history. Our boosted estimator computes final estimation based on the trustworthy weak estimators.

  147. Boostingを用いた環境変化に頑健なWi-Fi屋内位置推定手法の提案

    谷内 大祐, 前川 卓也, 鈴木 潤, 岸野 泰恵

    研究報告ヒューマンコンピュータインタラクション（HCI）　2013　(5)　1-7　2013年10月29日

    出版者・発行元： 一般社団法人情報処理学会

    ISSN： 0919-6072

    詳細を見る 詳細を閉じる

    近年，Wi-Fi 電波による屋内位置推定の研究が数多く行われている．最も一般的な手法である Wi-Fi フィンガープリンティングは，屋内のたくさんの場所においてあらかじめ計測しておいた Wi-Fi 信号強度の分布情報を用いて位置推定を行う．しかしながら Wi-Fi の電波環境は，周辺環境の変化やアクセスポイントの移動や消滅によって影響を受けるため，その位置推定精度は不安定である．そこで本研究では，さまざまな弱位置推定器からなる，Boosted 位置推定器を用いて環境変化に頑健な位置推定を行う．それぞれの弱位置推定器では，ランダムに選んだアクセスポイントの電波のみを用いて位置を推定する．これにより，特定のアクセスポイントからの電波に変化が起こっても，その影響を受けない弱位置推定器が存在する．そこで，提案手法ではパーティクルフィルタにより過去の軌跡から現在時刻における位置を推定し，その位置と各弱位置推定器の推定位置から，弱位置推定器の信頼性を計算する．そして，信頼度の高い弱位置推定器ほど重みを大きくして最終的な現在位置を求めることで，環境変化に頑健な位置推定を目指す．Recently, many indoor positioning techniques based on Wi-Fi signals have been studied. Wi-Fi fingerprinting technique, which is one of the most popular and practical method, makes use of the Wi-Fi received signal strength (RSS) information collected at several indoor places in advance to construct an indoor positioning model. However, changing environmental dynamics, i.e., layout changes and moving or removal of WiFi access points, may cause the instability of Wi-Fi based positioning methods. In this work, we try to cope with the instability with a boosted positioning estimator consists of several weak estimators. Each weak estimator uses only the signals from some randomly selected APs. Even when signal strength from a specific AP may change, some weak estimators that do not employ the AP are not affected by the change. In our proposed method, we track a user&#039;s coordinates with the particle filter and we evaluate each weak estimator&#039;s prediction by using the particle filter outputs. That is, we find weak estimators that are not affected by the AP by comparing the predictions and coordinates estimated by the particle filter based on the past coordinate history. Our boosted estimator computes final estimation based on the trustworthy weak estimators.

  148. 革新的発展期を迎えた統計翻訳 (特集 こころまで伝わるコミュニケーションを支える音声言語と聴覚研究の最前線)

    永田 昌明, 須藤 克仁, 鈴木 潤

    NTT技術ジャーナル　25　(9)　14-17　2013年9月

    出版者・発行元： 電気通信協会

    ISSN： 0915-2318

  149. 動的変化する文章を対象とした自然言語解析に適した解析アルゴリズムの考案

    鈴木潤, 永田昌明

    言語処理学会年次大会発表論文集(Web)　19th　2013年

    ISSN： 2188-4420

  150. 構造学習を用いたテキストからの地域イベント情報抽出

    数原 良彦, 鈴木 潤, 鷲崎 誠司

    人工知能学会全国大会論文集　2013　(0)　1F31in-1F31in　2013年

    出版者・発行元： 一般社団法人 人工知能学会

    ISSN： 1347-9881

    詳細を見る 詳細を閉じる

    &lt;p&gt;テキストからイベント名称，開催場所，開催日時という項目からなるイベント情報を抽出する際に，固有表現抽出を用いて各項目の候補を取り出すことができる．しかし，一般的に各項目の候補が複数存在するため，全ての組み合わせの中から正しい組み合わせを選択する必要がある．本稿では，正しい組み合わ せを選択するモデルを構造学習の枠組みで生成し，テキストからの地域イベント情報抽出を実現する手法を提案する．&lt;/p&gt;

  151. 構造学習を用いたテキストからの地域イベント情報抽出

    数原 良彦, 鈴木 潤, 鷲崎 誠司

    人工知能学会全国大会論文集　27　1-4　2013年

    出版者・発行元： 人工知能学会

    ISSN： 1347-9881

  152. 語順の入れ替えに着目した特許の統計翻訳 : 事前･事後並べ替えによる高精度な英日･日英翻訳 (機械翻訳技術の向上)

    須藤 克仁, 鈴木 潤, 塚田 元

    Japio year book　292-296　2013年

    出版者・発行元： 日本特許情報機構

  153. D-007 偽陽性率に着目したオンライン学習を用いたスパム判別(Web,D分野:データベース)

    数原 良彦, 鈴木 潤, 片岡 良治

    情報科学技術フォーラム講演論文集　11　(2)　91-92　2012年9月4日

    出版者・発行元： FIT(電子情報通信学会・情報処理学会)運営委員会

  154. ナップサック問題と劣モジュラ関数最大化問題の合意解形成による要約

    安田宜仁, 西野正彬, 平尾努, 鈴木潤

    言語処理学会年次大会発表論文集　18th (CD-ROM)　2012年

  155. クエリ中の語を含むことを保証するクエリフォーカス要約

    西野正彬, 安田宜仁, 平尾努, 鈴木潤

    言語処理学会年次大会発表論文集　18th (CD-ROM)　2012年

  156. 拡張ラグランジュ緩和を用いた同時自然言語解析法

    鈴木潤, DUH Kevin, 永田昌明

    言語処理学会年次大会発表論文集　18th (CD-ROM)　2012年

  157. 条件付確率場とベイズ階層言語モデルの統合による半教師あり形態素解析

    持橋大地, 鈴木潤, 藤野昭典

    言語処理学会年次大会発表論文集　17th (CD-ROM)　2011年

  158. 評価指標をマージンに反映したオンラインランキング学習

    数原良彦, 鈴木潤, 安田宜仁, 小池義昌, 片岡良治

    言語処理学会年次大会発表論文集　17th (CD-ROM)　2011年

  159. L1正則化特徴選択に基づく大規模データ・特徴集合に適した半教師あり学習

    鈴木潤, 磯崎秀樹, 永田昌明

    言語処理学会年次大会発表論文集　17th (CD-ROM)　2011年

  160. 半教師あり系列ラベリングによるアブストラクトのセクション分割

    平尾努, 鈴木潤, 磯崎秀樹, 永田昌明

    言語処理学会年次大会発表論文集　16th　2010年

  161. 大規模ラベルなしデータを利用した係り受け解析の性能検証

    鈴木潤, 磯崎秀樹

    言語処理学会年次大会発表論文集　16th　2010年

  162. 自然言語処理による医療情報の読解支援

    平尾努, 磯崎秀樹, 須藤克仁, 鈴木潤, 塚田元, 藤野昭典, 永田昌明

    平成21年度情報処理学会関西支部支部大会講演論文集　2009　2009年9月29日

    ISSN： 1884-197X

  163. 軽量な文短縮手法

    平尾努, 鈴木潤, 磯崎秀樹

    言語処理学会年次大会発表論文集　14th　2008年

  164. 大規模ラベルなしデータを利用した言語解析器の性能検証

    鈴木潤, 磯崎秀樹

    言語処理学会年次大会発表論文集　14th　2008年

  165. 高次元特徴空間に適した半教師あり条件付確率場の検証

    鈴木 潤, 藤野 昭典, 磯崎 秀樹

    情報処理学会研究報告自然言語処理（NL）　2007　(94)　21-28　2007年9月25日

    出版者・発行元： 一般社団法人情報処理学会

    ISSN： 0919-6072

    詳細を見る 詳細を閉じる

    本稿では，半教師あり条件付確率場(Semi supervised conditional random fields)について議論をおこなう．自然言語処理の多くのタスクでは ）効果的なモデル学習のために単語やその連接といった特徴を利用する必要があり，一般的に数万次元以上という高次元かつスパースな特徴空間を用いて学習をおこなう必要がある。よって，これらのタスクでは，半教師あり学習の枠組みにおいても，高次元スパース特徴空間に頑健な枠組が求められるそこで。本稿では文献[1]の枠組をベースにし，高次元スパース特徴空間に対して頑健な半教師あり条件付確率場を新たに提案する．また，固有表現抽出およびチヤンキングタスクを用いて半教師あり条件付確率場の性能と性質について検証をおこなった提案法により，従来の教師あり条件付確率場[2]，エントロピー正則化に基づく半教師あり条件付確率場[3]と比較して大幅に良い結果が得られたまた，エントロピー､正則化に基づく半教師あり条件付確率場は，理論的にも実験的にも，高次元スパース特徴空間を用いた学習では性能の向上が期待できないことを明らかにする．This paper proposes a novel semi-supervised conditional random field which provides good characteristics with respect to handling the large and sparse feature spaces. Experiments on two real NLP tasks with extremely large feature spaces, such as named entity recognition and syntactic chunking, show that our proposed method significantly improves the state-of-the-art performance obtained from supervised CRFs[2], and semi-supervised CRFs employing the entropy regularization approach[3]. Moreover, this paper reveals that, theoretically and experimentally, semi-supervised CRFs based on the entropy regularization approach[2] cannot work well for improving the performance of tasks with large and sparse feature spaces.

  166. F値最大化学習に基づく文書の多重ラベリング

    藤野 昭典, 磯崎 秀樹, 鈴木 潤

    情報処理学会研究報告自然言語処理（NL）　2007　(94)　29-34　2007年9月25日

    出版者・発行元： 一般社団法人情報処理学会

    ISSN： 0919-6072

    詳細を見る 詳細を閉じる

    テキスト分類問題は，一般的に各文書に複数のラベルを付与する問題(多重ラべリング問題)として定義される。本稿では，機械学習アプローチに基づく多重ラベリング法に焦点を当て，モデル統合と F1 値最大化に基づく分類器設計法を提案する．提案法では，まず，データへのラベル付与の可否を判定する2値分類のためのモデルをラベル毎に複数個設計する．次に，これらのモデルを訓練データに対して F1 値を最大化させるように統合する．3つの実テキストデータセットを用いた実験により，提案法は，1つのデータに多くのラベルが付与され，多数のラベルの組合せが存在するデータセットに対して特に有用であることを確認した．Text categorization is generally defined as a multi-labeling problem, where multiple category labels are assigned to each text document. We focus on machine learning approaches to multi-labeling problems and present a classifier design method based on model combination and Fi-score maximization. In our formulation, we first design multiple models for binary classification per category label, which determine whether a category label is assigned or not to each data sample. Then, we combine these models to maximize the F± -score of a training dataset. Using three real text datasets, we confirmed experimentally that our proposed method was useful especially for the datasets where many category labels were assigned to each data sample and which consisted of many combinations of category labels.

  167. 統計的機械翻訳 (特集 コミュニケーション環境の未来に向けた研究最前線)

    塚田 元, 渡辺 太郎, 鈴木 潤

    NTT技術ジャ-ナル　19　(6)　23-25　2007年6月

    出版者・発行元： 電気通信協会

    ISSN： 0915-2318

  168. CRFを用いたブログからの固有表現抽出

    齋藤邦子, 鈴木潤, 今村賢治

    言語処理学会年次大会発表論文集　13th　2007年

  169. データの分布特性を利用した半教師あり系列構造学習:言語解析への適用

    鈴木潤, 藤野昭典, 磯崎秀樹

    言語処理学会年次大会発表論文集　13th　2007年

  170. ブログ作者の居住域の推定

    安田宜仁, 平尾努, 鈴木潤, 磯崎秀樹

    言語処理学会年次大会発表論文集　12th　2006年

  171. 学習誤り最小化に基づく条件付き確率場の学習:言語解析への適用

    鈴木潤, 磯崎秀樹

    言語処理学会年次大会発表論文集　12th　2006年

  172. 言語パターンに着目した複数文書要約

    平尾 努, 鈴木 潤, 磯崎 秀樹, 前田 英作

    情報処理学会研究報告自然言語処理（NL）　2003　(108)　31-38　2003年11月6日

    出版者・発行元： 一般社団法人情報処理学会

    ISSN： 0919-6072

    詳細を見る 詳細を閉じる

    複数文書要約の実現のためには，文書集合から重要文を精度良く抽出することと共に複数の文書に共通して出現する冗長な表現を排除することが必要である．これまでの要約手法は，重要文抽出や冗長表現の排除のための特徴として単語やn-gramを用いている．しかし，文が木構造で表現できることを考えると連続した単語の並びだけでなく，スキップを許した単語の並びに着目することがこうしたタスクに有効であると推測される．そこで本稿では，(1)スキップを許した単語列を重要文抽出の特徴として用いること．(2)拡張ストリング・カーネル(ESK)を利用したMMR(Maximal Meridien Relevance)を用いて冗長文の削除を行うことを特徴とする要約手法を新たに提案する．毎日，日経，読売の３誌より作成したテストセットを用いた評価実験からLead手法，TF･IDF手法などの従来手法と比較して提案手法がより高い抽出制度を実現すること，ESKを用いたMMRが従来のMMRよりパラメータに対して頑健であることがわかった．さらに，複数文要約を目的とした重要文抽出制度の新しい評価尺度についても提案する．In this paper, we propose a multiple document summarization method using a sequential pattern mining algorithm. We extract important sentences in the following way; First, extracting term patterns from target document set by using PrefixSpan.Second, identifying significant patterns based on X^2 statistics, Third, determining a sentence score using the patterns weighting based on TF･IDF. Moreover, we propose a kernel-based MMR (Maximal Marginal Relevance) for minimizing redundant sentences. This method employs a similarity measure based on Extended String Subsequence kernel instead of cosine similarity. In addition, we define an evaluation measure for data set includes redundant sentences, i.e., there are many sentences whose meaning are the same. The evaluation results show that our extraction method is better than conventional methods and the kernel-based MMR outperforms conventional MMR.

  173. 機械学習のための組み合わせ素性の選択基準について

    磯崎 秀樹, 平尾 努, 鈴木 潤

    情報処理学会研究報告自然言語処理（NL）　2003　(108)　63-68　2003年11月6日

    出版者・発行元： 一般社団法人情報処理学会

    ISSN： 0919-6072

    詳細を見る 詳細を閉じる

    固有表現抽出、重要文抽出、係り受け解析など、さまざまな自然言語処理タスクにおいて、機械学習が用いられるようになってきている。現在は人間が試行錯誤で素性をきめているが、PrefixSpanで頻出する単語パターンを自動的に見つけたり、TidalSMPで素性の有用な組み合わせを見つけることも可能である。しかし、単純に統計量で求めた組み合わせは無駄が多く、そのままでは十分なパフォーマンスを発揮できない。そこで冗長性を考慮した簡単なリランキングによって精度が向上することを、重要文抽出と英語係り受け解析のタスクで示す。Machine Learning is used for various tasks of Natural Language Processing such as Named Entity Recognition, Important Sentence Extraction, and Dependency Analysis. Features for Machine Learning are found by trial and error. However, it is possible to find useful features by using statistical measures. For example, PrefixSpan finds frequent word patterns and TidalSMP find useful feature combinations. Such combinatiorial features are often redundant and are not optimized for machine Learning. Here, we show that a simple reranking method improves the performance of Machine Learning in two tasks: Important Sentence Extraction and English Dependency Analysis.

  174. 言語パターンに着目した複数文書要約

    平尾 努, 鈴木 潤, 磯崎 秀樹, 前田 英作

    電子情報通信学会技術研究報告　103　(407)　31-38　2003年11月6日

    出版者・発行元： 一般社団法人電子情報通信学会

    ISSN： 0913-5685

    詳細を見る 詳細を閉じる

    複数文書要約の実現のためには, 文書集合から重要文を精度良く抽出することと共に複数の文書に共通して出現する冗長な表現を排除することが必要である. これまでの要約手法は, 重要文抽出や冗長表現の排除のための特徴として単語やn-gramを用いている.しかし, 文が木構造で表現できることを考えると連続した単語の並びだけでなく, スキップを許した単語の並びに着目することがこうしたタスクに有効であると推測される. そこで本稿では, (1)スキップを許した単語列を重要文抽出の特徴として用いること. (2)拡張ストリング・カーネル(ESK)を利用したMMR(Maximal Meridien Relevance)を用いて冗長文の削除を行うことを特徴とする要約手法を新たに提案する. 毎日, 日経, 読売の3紙より作成したテストセットを用いた評価実験からLead手法, TF・IDF手法などの従来手法と比較して提案手法がより高い抽出精度を実現すること. ESKを用いたMMRが従来のMMRよりパラメータに対して頑健であることがわかった. さらに, 複数文要約を目的とした重要文抽出精度の新しい評価尺度についても提案する.

  175. 機械学習のための組み合わせ素性の選択基準について

    磯崎 秀樹, 平尾 努, 鈴木 潤

    電子情報通信学会技術研究報告　103　(407)　63-68　2003年11月6日

    出版者・発行元： 一般社団法人電子情報通信学会

    ISSN： 0913-5685

    詳細を見る 詳細を閉じる

    固有表現抽出、重要文抽出、係り受け解析など、さまざまな自然言語処理タスクにおいて、機械学習が用いられるようになってきている。現在は人間が試行錯誤で素性を決めているが、PrefixSpanで頻出する単語パターンを自動的に見つけたり、TidalSMPで素性の有用な組み合わせを見つけることも可能である。しかし、単純に統計量で求めた組み合わせは無駄が多く、そのままでは十分なパフォーマンスを発揮できない。そこで冗長性を考慮した簡単なリランキングによって精度が向上することを、重要文抽出と英語係り受け解析のタスクで示す。

  176. 言語パターンに着目した複数文書要約

    平尾 努, 鈴木 潤, 磯崎 秀樹, 前田 英作

    電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション　103　(407)　31-38　2003年10月30日

  177. 機械学習のための組み合わせ素性の選択基準について

    磯崎 秀樹, 平尾 努, 鈴木 潤

    電子情報通信学会技術研究報告. NLC, 言語理解とコミュニケーション　103　(407)　63-68　2003年10月30日

  178. 素性選択機能をもったString Kernelの提案

    鈴木 潤, 平尾 努, 磯崎 秀樹, 前田 英作

    情報処理学会研究報告自然言語処理（NL）　2003　(98)　41-48　2003年9月29日

    ISSN： 0919-6072

    詳細を見る 詳細を閉じる

    本稿では，String Kernelに対する素性選択手法について議論する．StringKernelを含むConvolution Kernelsの枠組では，全ての部分構造間の部分カーネルの総和を全体のカーネルの値と定義している．しかし，可能な全ての部分構造を素性として使用すると，素性空間の次元数が高くなり，データスパースネスの問題が起こることが実験的に示されている．このためString Kernelでは，カーネル計算に使用する部分記号列を部分記号列のサイズに応じて選択する枠組が導入されている．本稿では，この従来手法による素性選択基準の問題点について議論し，その問題点を改善した素性選択手法を提案する．さらに，質問分類と文のモダリティ判定の二つのタスクを用いて，本稿で取り上げた従来手法の問題点の正当性を検証するとともに，従来手法との比較実験によって提案手法の有効性を示す．This paper discusses feature selection methods about String Kernel. The kernel value of Convolution Kernels is defined as a sum of all sub-kernels between all sub-structures of input objects. However, it is known experimentally that the data-sparseness problem arises if treating all sub-structures to calculate the kernel value. For this reason, the framework of a feature selection method based on the size of sub-sequences is introduced in String Kernel. In this paper, first, we discuss an issue about this kind of conventional feature selection method, and then we propose a new feature selection method. After that, we confirm the issue of conventional method experimentally and compare the performance between a conventional method and the proposed method by using using question classification task and sentence modality identification task.

  179. 素性選択機能をもったString Kernelの提案

    鈴木 潤, 平尾 努, 磯崎 秀樹, 前田 英作

    情報処理学会研究報告情報学基礎（FI）　2003　(98)　41-48　2003年9月29日

    出版者・発行元： 一般社団法人情報処理学会

    ISSN： 0919-6072

    詳細を見る 詳細を閉じる

    本稿では，String Kernelに対する素性選択手法について議論する．StringKernelを含むConvolution Kernelsの枠組では，全ての部分構造間の部分カーネルの総和を全体のカーネルの値と定義している．しかし，可能な全ての部分構造を素性として使用すると，素性空間の次元数が高くなり，データスパースネスの問題が起こることが実験的に示されている．このためString Kernelでは，カーネル計算に使用する部分記号列を部分記号列のサイズに応じて選択する枠組が導入されている．本稿では，この従来手法による素性選択基準の問題点について議論し，その問題点を改善した素性選択手法を提案する．さらに，質問分類と文のモダリティ判定の二つのタスクを用いて，本稿で取り上げた従来手法の問題点の正当性を検証するとともに，従来手法との比較実験によって提案手法の有効性を示す．This paper discusses feature selection methods about String Kernel. The kernel value of Convolution Kernels is defined as a sum of all sub-kernels between all sub-structures of input objects. However, it is known experimentally that the data-sparseness problem arises if treating all sub-structures to calculate the kernel value. For this reason, the framework of a feature selection method based on the size of sub-sequences is introduced in String Kernel. In this paper, first, we discuss an issue about this kind of conventional feature selection method, and then we propose a new feature selection method. After that, we confirm the issue of conventional method experimentally and compare the performance between a conventional method and the proposed method by using using question classification task and sentence modality identification task.

  180. 階層構造を利用したテキスト間類似度の効率的計算法

    鈴木 潤, 平尾 努, 佐々木 裕, 前田 英作

    情報処理学会研究報告自然言語処理（NL）　2003　(23)　101-108　2003年3月6日

    出版者・発行元： 一般社団法人情報処理学会

    ISSN： 0919-6072

    詳細を見る 詳細を閉じる

    本稿では，階層非循環有向グラフカーネル（Hierarchical Directed Acyclic Graph Kernel: HDAG Kernel）と名付けた新しい計算手法を提案する．これは，テキスト内の様々な構造を「階層を許した非循環有向グラフ」で表現し，このグラフ間の類似度を定義することで，テキスト内の様々な構造を取り入れた類似度を計算する方法である．提案手法により，文・文節・固有表現といった意味的なまとまりや依存関係・照応関係といったテキスト内の様々な構造を反映した類似度を現実的な時間で計算できる．本稿では，対応付けされた要約文や，質問タイプに基づく質問文の類似性評価の実験を行い提案手法の有効性を検証した．This paper proposes an efficient calculation method of the similarity between two texts which reflects various structures inside the texts. We realize this similarity by expressing the structures inside a text by hierarchical directed acyclic graph (HDAG). Specifically, we define the similarity between HDAGs as the matching of all alignment sequences extracted from all sub-pathes inside HDAGs. In this case, the number of the sub-pathes inside graphs usually yield extremely large numbers. However, we can calculate the similarity efficiently without matching of all alignment sequences.

  181. テキストの構造を考慮したテキスト間類似度の効率的計算法

    鈴木潤, 平尾努, 佐々木裕, 前田英作

    言語処理学会年次大会発表論文集　9th　2003年

  182. LE-10 統計的機械学習を用いた質問タイプ同定(E. 自然言語・文書)

    鈴木 潤, 佐々木 裕, 前田 英作

    情報技術レターズ　1　89-90　2002年9月13日

    出版者・発行元： FIT(電子情報通信学会・情報処理学会)運営委員会

  183. SAIQA：大量文書に基づく質問応答システム

    佐々木 裕, 磯崎 秀樹, 平 博順, 平尾 努, 賀沢 秀人, 鈴木 潤, 国領弘治, 前田 英作

    情報処理学会研究報告情報学基礎（FI）　2001　(86)　77-82　2001年9月10日

    出版者・発行元： 一般社団法人情報処理学会

    ISSN： 0919-6072

    詳細を見る 詳細を閉じる

    従来のTREC流の質問応答（Question Answering:QA）では，質問に対する解答を含む250バイトまたは50バイトのパッセージを答えていた。しかしながら，質問応答技術の最も興味深い点は，質問に対して解答を含む文書やパッセージを返すのではなく，解答そのもの（exact answer）を判定し，答えることができる点にある。そこで，本稿では，大量の文書集合に基づいて質問に答える日本語質問応答システムSAIQAについて述べるとともに，2000問の質問文について評価を行った結果を示す。評価には，解答の根拠として，文書全体を与えた場合と，質問に適応した要約（Question-Biased Text Summarization:QBT）を与えた場合の評価も含む。評価の結果，5位以内の正解率は約50％であり，正解の場合には，要約の約87％が根拠として正しいことが明らかになった。Conventional TREC-style Question-Answering (QA) involves extracting passages (250 bytes or 50 bytes) that contain answers to a question. The most attractive feature of QA is that it can provide exact answers to the question, rather than a list of ranked passages, paragraphs, or documents. This paper describes a Japanese QA system SAIQA which finds exact answers to a question from a large-scale Japanese text corpus and an experimental evaluation on exact answer extraction. The experiments include evaluations of answers to 2000 questions with justification by article summarization. The results show that around 50% of correct answers can be found from the top of five answers and that over 87% of short summaries can be used for answer justification (or evidence) instead of full texts.

  184. SAIQA：大量文書に基づく質問応答システム

    佐々木 裕, 磯崎 秀樹, 平 博順, 平尾 努, 賀沢 秀人, 鈴木 潤, 国領弘治, 前田 英作

    情報処理学会研究報告自然言語処理（NL）　2001　(86)　77-82　2001年9月10日

    出版者・発行元： 一般社団法人情報処理学会

    ISSN： 0919-6072

    詳細を見る 詳細を閉じる

    従来のTREC流の質問応答（Question Answering:QA）では，質問に対する解答を含む250バイトまたは50バイトのパッセージを答えていた。しかしながら，質問応答技術の最も興味深い点は，質問に対して解答を含む文書やパッセージを返すのではなく，解答そのもの（exact answer）を判定し，答えることができる点にある。そこで，本稿では，大量の文書集合に基づいて質問に答える日本語質問応答システムSAIQAについて述べるとともに，2000問の質問文について評価を行った結果を示す。評価には，解答の根拠として，文書全体を与えた場合と，質問に適応した要約（Question-Biased Text Summarization:QBT）を与えた場合の評価も含む。評価の結果，5位以内の正解率は約50％であり，正解の場合には，要約の約87％が根拠として正しいことが明らかになった。Conventional TREC-style Question-Answering (QA) involves extracting passages (250 bytes or 50 bytes) that contain answers to a question. The most attractive feature of QA is that it can provide exact answers to the question, rather than a list of ranked passages, paragraphs, or documents. This paper describes a Japanese QA system SAIQA which finds exact answers to a question from a large-scale Japanese text corpus and an experimental evaluation on exact answer extraction. The experiments include evaluations of answers to 2000 questions with justification by article summarization. The results show that around 50% of correct answers can be found from the top of five answers and that over 87% of short summaries can be used for answer justification (or evidence) instead of full texts.

  185. GDAタグを利用した回答抽出システムの提案

    鈴木潤, 橋田浩一

    言語処理学会年次大会発表論文集　7th　2001年

︎全件表示 ︎最初の5件までを表示

書籍等出版物 3

  1. IT Text 自然言語処理の基礎

    岡﨑 直観, 荒瀬 由紀, 鈴木 潤, 鶴岡 慶雅, 宮尾 祐介

    オーム社　2022年8月24日

    ISBN: 4274229009

  2. 自然言語処理技術 ～目的に応じた手法選択／精度向上手法／業務活用への提言

    鈴木 潤, 土屋 誠司, 本橋 和貴, 高橋 寛治, 田村 晃裕, 山田 育矢, 荒木 健治, 森 信介, 渡邉 信一, 原 紳, 水本 智也, 清水 武

    2020年3月

  3. 深層学習による自然言語処理

    坪井, 祐太, 海野, 裕也, 鈴木, 潤

    講談社　2017年5月

    ISBN: 9784061529243

講演・口頭発表等 16

  1. WMT-2020ニュース翻訳タスクに参加して：Team Tohoku-AIP-NTT at WMT-2020 招待有り

    鈴木潤

    AAMT 2021, Online ～機械翻訳最前線～ 2021年AAMT長尾賞受賞者講演　2021年12月8日

  2. AI系トップカンファレンスへの論文採択に向けた試験対策 招待有り

    鈴木 潤

    2020年度 人工知能学会全国大会（第34回）チュートリアル講演　2020年6月10日

  3. トップカンファレンスへの論文採択に向けて（AI研究分野版） 招待有り

    鈴木 潤

    人工知能学会合同研究会2019 IJCAI2020に向けた論文書き方セミナー　2019年11月23日

  4. 国際会議への論文の通し方（一般論） 招待有り

    鈴木 潤

    第4回 統計・機械学習若手シンポジウム　2019年11月15日

  5. 単語埋め込みベクトルの利便性向上 招待有り

    鈴木 潤

    東北大学 情報科学研究科 第76回 情報科学談話　2019年9月19日

  6. トップカンファレンスへの論文採択に向けて（NLP研究分野版） 招待有り

    鈴木 潤

    NLP若手の会 (YANS) 第14回シンポジウム（YANS-2019）　2019年8月26日

  7. Usability Enhancements to Neural Word Embeddings 招待有り

    Jun Suzuki

    Third International Workshop on Symbolic-Neural Learning (SNL-2019)　2019年7月11日

  8. 深層学習による自然言語処理の解釈性／説明性 招待有り

    鈴木 潤

    情報処理学会 連続セミナーAIと歩む未来(1)：自然言語処理の最新動向　2019年6月26日

  9. NAACL 2016 ～会議概要と研究傾向分析～ 招待有り

    鈴木 潤

    第9回テキストマイニング・シンポジウム 国際会議報告　2016年9月9日

  10. "Learning Compact Neural Word Embeddings by Parameter Space Sharing＋IJCAI-2016参加レポート" 招待有り

    鈴木 潤

    河原林ERATO グラフマイニング&WEB&AIセミナー　2016年7月25日

  11. 単語埋め込みベクトル獲得法の現状といくつかの考察 招待有り

    鈴木 潤

    産総研人工知能セミナー　2016年6月21日

  12. Supervised Model Learning with Feature Grouping based on a Discrete Constraint

    鈴木 潤

    NII Shonan Meeting, Discrete Algorithms Meet Machine Learning　2013年8月13日

  13. 大規模教師なしデータからの縮約素性表現学習 招待有り

    鈴木 潤

    名古屋地区NLPセミナー 第９回　2011年8月3日

  14. Semi-supervised Structured Output Learning using Giga-scale Unlabeled Data 招待有り

    鈴木 潤

    生命情報工学研究センター セミナー講演　2008年6月27日

  15. 半教師あり学習による分類法: -現状と自然言語処理への適用- 招待有り

    鈴木 潤

    言語処理学会第14回年次大会(NLP2008) チュートリアル　2008年3月17日

  16. Semi-supervised Structured Output Learning 招待有り

    Jun Suzuki

    Tokyo Forum on Advanced NLP and TM　2008年2月13日

︎全件表示 ︎最初の5件までを表示

産業財産権 59

  1. 自然言語処理のための装置、方法及びプログラム

    鈴木 潤, 高瀬 翔, 乾 健太郎, 岡▲崎▼ 直観, 清野 舜

    特許第7072178号

    産業財産権の種類: 特許権

  2. 情報処理装置、情報学習装置、情報処理方法、情報学習方法及びプログラム

    森下 睦, 鈴木 潤, 高瀬 翔, 上垣外 英剛, 永田 昌明

    特許第6772393号

    産業財産権の種類: 特許権

  3. 情報学習装置、情報処理装置、情報学習方法、情報処理方法及びプログラム

    森下 睦, 鈴木 潤, 高瀬 翔, 上垣外 英剛, 永田 昌明

    特許第6772394号

    産業財産権の種類: 特許権

  4. 集合分割問題求解装置、方法、及びプログラム

    西野 正彬, 鈴木 潤, 梅谷 俊治

    特許第6725920号

    産業財産権の種類: 特許権

  5. 文生成装置、文生成学習装置、文生成方法、及びプログラム

    高瀬 翔, 鈴木 潤, 永田 昌明

    特許第6712973号

    産業財産権の種類: 特許権

  6. 分類器学習装置、クラス決定装置、方法、及びプログラム

    鈴木 潤

    特許第6706214号

    産業財産権の種類: 特許権

  7. 文字列変換装置、モデル学習装置、方法、及びプログラム

    斉藤 いつみ, 鈴木 潤, 浅野 久子, 齋藤 邦子, 松尾 義博

    特許第6684693号

    産業財産権の種類: 特許権

  8. 要約生成装置、テキスト変換装置、方法、及びプログラム

    鈴木 潤, 平尾 努, 岡崎 直観, 高瀬 翔

    特許第6635307号

    産業財産権の種類: 特許権

  9. 符号器学習装置、変換装置、方法、及びプログラム

    鈴木 潤

    特許第6633999号

    産業財産権の種類: 特許権

  10. 最適化問題解決装置、方法、及びプログラム

    鈴木 潤, 西野 正彬, 梅谷 俊治

    特許第6628041号

    産業財産権の種類: 特許権

  11. 単語ベクトル学習装置、自然言語処理装置、方法、及びプログラム

    鈴木 潤

    特許第6586026号

    産業財産権の種類: 特許権

  12. 行動決定装置、未来予測モデル学習装置、ネットワーク学習装置、方法、及びプログラム

    鈴木 潤, 鶴岡 慶雅

    特許第6550678号

    産業財産権の種類: 特許権

  13. 符号化装置、復号化装置、離散系列変換装置、方法、及びプログラム

    鈴木 潤, 岡崎 直観, 高瀬 翔

    特許第6550677号

    産業財産権の種類: 特許権

  14. 秘匿計算システム、第一秘匿計算装置、第二秘匿計算装置、秘匿回路生成方法、秘匿回路評価方法、プログラム

    鈴木 幸太郎, 富田 潤一

    特許第6532843号

    産業財産権の種類: 特許権

  15. 単語ベクトル学習装置、自然言語処理装置、方法、及びプログラム

    鈴木 潤

    特許第6517537号

    産業財産権の種類: 特許権

  16. 情報処理方法、装置、及びプログラム

    西野 正彬, 鈴木 潤, 永田 昌明

    特許第6498135号

    産業財産権の種類: 特許権

  17. 用語意味コード判定装置、用語意味コード判定モデル学習装置、方法、及びプログラム

    藤野 昭典, 鈴木 潤, 平尾 努

    特許第6495124号

    産業財産権の種類: 特許権

  18. 情報処理方法、装置、及びプログラム

    西野 正彬, 鈴木 潤, 平尾 努, 梅谷 俊治

    特許第6482073号

    産業財産権の種類: 特許権

  19. パラメータ学習方法、装置、及びプログラム

    吉田 康久, 鈴木 潤, 平尾 努, 林 克彦, 永田 昌明

    特許第6291440号

    産業財産権の種類: 特許権

  20. 位置推定装置、方法、及びプログラム

    鈴木 潤, 岸野 泰恵, 前川 卓也

    特許第6284151号

    産業財産権の種類: 特許権

  21. 縮約素性生成装置、情報処理装置、方法、及びプログラム

    鈴木 潤

    特許第6230501号

    産業財産権の種類: 特許権

  22. 用語抽出装置、方法、及びプログラム

    鈴木 潤, 藤野 昭典, 平尾 努

    特許第6220767号

    産業財産権の種類: 特許権

  23. システムパラメタ学習装置、情報処理装置、方法、及びプログラム

    鈴木 潤

    特許第6101650号

    産業財産権の種類: 特許権

  24. 係り受け関係解析パラメータ学習装置、係り受け関係解析装置、方法、及びプログラム

    吉田 康久, 平尾 努, 鈴木 潤, 永田 昌明

    特許第6062829号

    産業財産権の種類: 特許権

  25. 語順並び替え装置、翻訳装置、方法、及びプログラム

    林 克彦, 須藤 克仁, 塚田 元, 鈴木 潤, 永田 昌明

    特許第6058513号

    産業財産権の種類: 特許権

  26. 文対応付け決定装置、方法、及びプログラム

    西野 正彬, 鈴木 潤, 梅谷 俊治

    特許第6019538号

    産業財産権の種類: 特許権

  27. システムパラメータ最適化装置、方法、及びプログラム

    平尾 努, 鈴木 潤, 永田 昌明

    特許第5985344号

    産業財産権の種類: 特許権

  28. 翻訳システム、方法、及びプログラム

    吉田 仙, 引地 孝文, 片山 太一, 鈴木 潤, 須藤 克仁

    特許第5973986号

    産業財産権の種類: 特許権

  29. オラクル要約探索装置、方法、及びプログラム

    平尾 努, 鈴木 潤, 永田 昌明

    特許第5964791号

    産業財産権の種類: 特許権

  30. 近似オラクル文選択装置、方法、及びプログラム

    安田 宜仁, 平尾 努, 鈴木 潤, 永田 昌明

    特許第5889225号

    産業財産権の種類: 特許権

  31. 自然言語解析処理装置、方法、及びプログラム

    鈴木 潤

    特許第5886220号

    産業財産権の種類: 特許権

  32. 情報抽出装置、情報抽出方法及び情報抽出プログラム

    数原 良彦, 鈴木 潤, 鷲崎 誠司

    特許第5863193号

    産業財産権の種類: 特許権

  33. スパム分類モデル生成装置及び方法及びプログラム

    数原 良彦, 鈴木 潤, 片岡 良治

    特許第5815468号

    産業財産権の種類: 特許権

  34. システムパラメータ学習装置、情報処理装置、方法、及びプログラム

    鈴木 潤

    特許第5766753号

    産業財産権の種類: 特許権

  35. アイテムパターン抽出装置、方法、及びプログラム

    進藤 裕之, 平尾 努, 鈴木 潤, 永田 昌明

    特許第5734932号

    産業財産権の種類: 特許権

  36. ランキング関数学習装置、方法、及びプログラム

    ケヴィン ドゥ, 鈴木 潤

    特許第5734820号

    産業財産権の種類: 特許権

  37. システムパラメータ最適化装置、方法、及びプログラム

    鈴木 潤

    特許第5728357号

    産業財産権の種類: 特許権

  38. 文書要約装置及び方法及びプログラム

    安田 宜仁, 西野 正彬, 平尾 努, 鈴木 潤, 片岡 良治

    特許第5702744号

    産業財産権の種類: 特許権

  39. サポートベクタ選択装置、方法、及びプログラム

    数原 良彦, 鈴木 潤, 安田 宜仁, 小池 義昌, 片岡 良治

    特許第5684077号

    産業財産権の種類: 特許権

  40. 文書要約装置及び方法及びプログラム

    西野 正彬, 安田 宜仁, 平尾 努, 鈴木 潤, 片岡 良治

    特許第5670939号

    産業財産権の種類: 特許権

  41. 縮約素性生成装置、方法、プログラム、モデル構築装置及び方法

    鈴木 潤

    特許第5623344号

    産業財産権の種類: 特許権

  42. 自然言語解析処理装置、方法、及びプログラム

    鈴木 潤

    特許第5530469号

    産業財産権の種類: 特許権

  43. ID付与装置、方法、及びプログラム

    鈴木 潤

    特許第5521064号

    産業財産権の種類: 特許権

  44. 準頻出構造パターンマイニング装置と頻出構造パターンマイニング装置とそれらの方法、及びプログラム

    鈴木 潤

    特許第5506629号

    産業財産権の種類: 特許権

  45. 文書検索装置、文書検索方法および文書検索プログラム

    数原 良彦, 鈴木 潤, 安田 宜仁, 小池 義昌, 片岡 良治

    特許第5475704号

    産業財産権の種類: 特許権

  46. 言語モデル学習装置、言語モデル学習方法、言語解析装置、及びプログラム

    持橋 大地, 鈴木 潤, 藤野 昭典

    特許第5441937号

    産業財産権の種類: 特許権

  47. ランキングモデル選択機能を有する文書検索装置、ランキングモデル選択機能を有する文書検索方法およびランキングモデル選択機能を有する文書検索プログラム

    数原 良彦, 鈴木 潤, 安田 宜仁, 小池 義昌, 片岡 良治

    特許第5432936号

    産業財産権の種類: 特許権

  48. 予測器選択装置、予測器選択方法、予測器選択プログラム

    数原 良彦, 鈴木 潤, 安田 宜仁, 小池 義昌, 片岡 良治

    特許第5432935号

    産業財産権の種類: 特許権

  49. パターン抽出装置、パターン抽出方法及びプログラム

    平尾 努, 鈴木 潤, 磯崎 秀樹, 永田 昌明

    特許第5325131号

    産業財産権の種類: 特許権

  50. 構造予測モデル学習装置、方法、プログラム、及び記録媒体

    鈴木 潤, マイケル ジェイ. コリンズ

    特許第5250076号

    産業財産権の種類: 特許権

  51. 機械翻訳装置、機械翻訳方法、およびそのプログラムならびに記録媒体

    塚田 元, 渡辺 太郎, 鈴木 潤, 磯崎 秀樹

    特許第5180522号

    産業財産権の種類: 特許権

  52. 言語解析モデル学習装置、言語解析モデル学習方法、言語解析モデル学習プログラムならびにその記録媒体

    鈴木 潤

    特許第5139701号

    産業財産権の種類: 特許権

  53. 文抽出および文短縮を組合せた文書要約方法、文書要約装置、文書要約プログラムおよびそのプログラムを記録した記録媒体

    平尾 努, 鈴木 潤, 磯崎 秀樹

    特許第5111300号

    産業財産権の種類: 特許権

  54. 言語解析モデル学習装置、言語解析モデル学習方法、言語解析モデル学習プログラム及びその記録媒体

    鈴木 潤

    特許第4328362号

    産業財産権の種類: 特許権

  55. 素性選択機能付き離散カーネル関数の計算装置、プログラムならびに該プログラムを格納した記録媒体

    鈴木 潤

    特許第4250098号

    産業財産権の種類: 特許権

  56. 類似度計算方法、装置、プログラムおよび該プログラムを格納した記録媒体

    鈴木 潤, 前田 英作

    特許第4073015号

    産業財産権の種類: 特許権

  57. 質問タイプ学習装置、質問タイプ学習プログラム、同プログラムを記録した記録媒体、学習サンプルが記録されている記録媒体、質問タイプ同定装置、質問タイプ同定プログラム、同プログラムを記録した記録媒体

    鈴木 潤, 佐々木 裕, 前田 英作

    特許第4008313号

    産業財産権の種類: 特許権

  58. 応答対話文生成方法、応答対話文作成装置、応答対話文作成プログラム、このプログラムを記録した記録媒体

    堀 智織, 鈴木 潤, 堀 貴明, 磯崎 秀樹

    特許第3946115号

    産業財産権の種類: 特許権

  59. 文変換装置、文変換方法及びプログラム

    永田 昌明, 森下 睦, 鈴木 潤

    産業財産権の種類: 特許権

︎全件表示 ︎最初の5件までを表示

共同研究・競争的資金等の研究課題 6

  1. 自然言語処理の研究

    2020年12月 ～ 2025年11月

  2. 深奥質感のマルチモーダル深層モデルの確立

    岡谷 貴之, 菅沼 雅徳, 劉 星, 鈴木 潤

    2020年11月19日 ～ 2025年3月31日

    詳細を見る 詳細を閉じる

    まず，DNNによる画像理解の研究を行い，複数の成果を得た．第一に，自然言語の指示によって作業を行うAIエージェントを開発した．エージェントが空間を見る視野をなるべく広く取るとともに，作業の指示を与える言語情報を2回解釈することに特徴があり，これによって高い作業成功率の達成が可能となった．手法は，国際的なベンチマークテストAlfredにおいて論文発表時点で全世界トップの性能を達成するとともに，成果の一端を国際会議IJACI2021にて発表した． 第二に，画像理解タスクの性能向上を目指して，画像記述の研究を行った．まず，これまでの手法が「比喩的表現」を基本的に行えないことに着目し，データセットとベンチマークテストを設計するとともに，評価方法を検討した．成果の一部は国際会議に投稿中である．第三に，画像記述のためのより高性能かつ高効率なDNNの設計を行った．画像特徴を取り出すのに，従来手法のように物体検出器に由来するCNNを使うのではなく，トランスフォーマーを用いることで高速化を達成した．同時に，物体領域から抽出した特徴と，画像を格子状に分割した領域から取り出した特徴の双方を効果的に統合することで，記述の精度を大幅に向上させている．国際的なベンチマークテストCOCO captionsにおいて，世界トップクラスの記述精度を従来手法の少なくとも数分の1の計算量で達成可能なDNNとなっている．本成果は国際会議に投稿中である．さらに，主に自然言語で表現された外部知識を，画像理解に導入する手法の検討を行っており，継続中である． また，以上とは独立に，自己教師学習の方法について研究を行った．特に近年活発に研究されている負例を用いない画像特徴の自己教師学習手法について，その有効性がどこから由来するものかを理論的に検討した．成果は国際会議に投稿中である．

  3. 計算知と人知の融合による汎用言語理解基盤の構築

    河原 大輔, 鈴木 潤, 笹野 遼平

    提供機関：Japan Society for the Promotion of Science

    制度名：Grants-in-Aid for Scientific Research Grant-in-Aid for Scientific Research (A)

    研究種目：Grant-in-Aid for Scientific Research (A)

    研究機関：Waseda University

    2021年4月 ～ 2025年3月

  4. 実世界知識と言語知識に基づく処理過程の説明性を備えた文章変換計算機構

    鈴木 潤, 松林 優一郎, 乾 健太郎

    提供機関：Japan Society for the Promotion of Science

    制度名：Grants-in-Aid for Scientific Research Grant-in-Aid for Scientific Research (B)

    研究種目：Grant-in-Aid for Scientific Research (B)

    研究機関：Tohoku University

    2019年4月1日 ～ 2022年3月31日

    詳細を見る 詳細を閉じる

    機械翻訳，文書要約，文章校正といった，ある入力文章を事前の定義に基づいて別の文章に変換する「文章変換技術」として広く用いられている符号化復号化器に関して，その処理過程を人間が解釈でき，かつ，処理結果を人手により比較的容易に操作できる技術の構築に取り組んだ． 一つ目の主要な成果として符号化復号化器に隠れ変数を導入し，その隠れ変数を自動または手動で選択することで入力文の特定の情報のみを利用した文章変換法を構築した．これにより，隠れ変数（入力の一部）の選択と生成される文章の間に対応関係がとれる．よって，本研究課題が目指す「文章変換の処理過程を陽に獲得する」という目的を満たす方法論の一つを実現した．また，本成果は自然言語処理分野の最難関国際会議に採録されるなど，国際的にも高い評価を得た． 二つ目の主要な成果として，学習時においては未知のデータに対して，モデルの予測結果が学習データ中のどのデータを根拠として得られたかを直接的にモデル化する方法論を考案した．この方法は，上記一つ目の主要成果とは異なり，内部の処理過程は陽に示されないが，予測に寄与した学習データを提示できる．よって，それを人間が目視することで，具体的にどの学習データの情報に基づいてモデルの予測がなされたのかを人間が確認できる．この方法論は，符号化復号化器自体の性能を向上させるものではないが，従来の性能を維持したまま，予測の根拠を提示できるという新たな機能を追加したという観点で，これまでにない画期的な方法論と言える． 今年度も引き続き文章変換における処理の解釈に資する研究を継続し，人間がどのように情報を提示されるとより解釈が容易であるかといった検証も取り入れて研究を推進する予定である．

  5. 論理推論・機械学習・物理計算の融合によって「行間を読む」談話解析モデル

    乾 健太郎, 岡崎 直観, 井之上 直也, 鈴木 潤

    提供機関：Japan Society for the Promotion of Science

    制度名：Grants-in-Aid for Scientific Research Grant-in-Aid for Scientific Research (A)

    研究種目：Grant-in-Aid for Scientific Research (A)

    研究機関：Tohoku University

    2015年4月1日 ～ 2019年3月31日

    詳細を見る 詳細を閉じる

    計算機による深く頑健な談話解析の実現を目的として、仮説推論・機械学習・物理計算を融合した談話解析モデルの構築に取り組んだ。主な成果として第１に、仮説推論を重み付き充足性最大化問題として定式化し、効率的な枝刈り手法を導入することによって説推論モデルの能力を飛躍的に向上させた。第２に、談話理解に必要な世界知識をWebやWikipedia等の文書集合から収集する手法を開発し、その知識を意味・談話解析に利用するモデルの有効性を示した。第３に、運転シーンにおける危険予測を仮説推論器と物理シミュレーションの統合によって実現し、有効性を確認した。開発したデータ、解析器はウェブサイトを通して一般公開している。

  6. 大規模分散並列処理に基づく統計的機械翻訳 競争的資金

    塚田 元, 磯崎 秀樹, 渡辺 太郎, 藤野 昭典, 鈴木 潤, 須藤 克仁

    2007年 ～ 2008年

    詳細を見る 詳細を閉じる

    本年度は、(1)階層的な句に基づく翻訳手法の高度化(須藤,渡辺,塚田)、および(2)半教師あり学習に基づく言語情報解析法の研究(鈴木,藤野,磯崎)の二つの課題に取り組んだ。 研究課題(1)として,本年度はNTTの研究費によって開発した高次元素性を活用した翻訳手法を,評価型ワークショップIWSLT2008のタスクで評価した.昨年度も高次元素性を活用するアプローチでIWSLT2007に参加したが,今年は文脈情報を含むより高度な素性の活用を検討した.昨年度は翻訳デコーダと密に結合した学習器によって,高次元素性を扱ったが今年より柔軟な素性の扱いを優先し,翻訳結果を再順序付けする学習器で高次元素性を扱うアプローチをとった.最終的に、中英チャレンジタスクにおいて,我々は他チームの1/10〜1/100の量の学習データ(対訳コーパス)で、11チーム中,3位相当の成績を達成することができた. 研究課題(2)としては,昨年度考案した「半教師あり学習法」による固有表現抽出器などのスケーラビリティの確認をさらなる大規模学習データで確認した.昨年度は10億語を超える学習データを利用した実験を行い,その成果は今年度ACL-2008に採録されたが,今年度はデータをさらに増やして40億語近いデータでも実験を行った.その結果,性能がさらに向上することを確認した.この他,NTTの研究費で考案した半教師あり学習に基づく文書分類法を、公開データ(報道記事,NTCIRタスク)で評価し,有効性を確認した.

︎全件表示 ︎最初の5件までを表示

担当経験のある科目(授業) 6

  1. 自然言語処理学　東北大学

  2. 人工知能　東北大学

  3. プログラミング演習A　東北大学

  4. 情報伝達学　東北大学

  5. 創造工学研修　東北大学

  6. 情報システム第二　慶應義塾大学

︎全件表示 ︎最初の5件までを表示