Sports Behavior Group 

Mission

Sports Behavior Group is studying information processing technology such as machine learning using complex time-series data like human body movements. We measure, recognize, analyze, predict, and evaluate human skillful movements and flexible teamwork using motion data of actual sports games. There are still many difficult points about automating them. We tackle these problems and develop basic information technology that can be used conveniently for various people. 

スポーツ行動グループは、人間の身体運動などの複雑な時系列データを扱う、機械学習などの情報処理技術の研究に取り組んでいます。主にこれまで、実際に行われたスポーツの身体運動データなどを用いて、人間の巧みな動きや柔軟なチームワークなどを計測・認識・分析・予測・評価する研究を行ってきました。しかし、これらを自動化することについては、未だ難しい点が多く残されています。そこで、これらの未解決な問題に取り組むとともに、様々な人が便利に使える情報基盤技術の開発を目指します。

Introduction

[slides] 発表したスライドです。

[papers] (論文リスト) see also “Recent Researches”.  以下の“Recent Researches”も見てください。

[Grants][研究費] see also “Projects”. 以下の“Projects”も見てください。

Others: [Presentations][発表(日本語)], [Awards][受賞リスト] [社会貢献]

Crowdfunding

ゲーム理論と機械学習を使ったサッカーのクラウドファンディングに挑戦しました。みなさまのご支援のおかげで、3日目に目標金額に到達することができました。最終的には、205名の方に、2,856,503円のご寄付をいただきました。本当にありがとうございました。これから研究を行い、成果として還元したいと思いますので、今後ともよろしくお願いします!

5万円以上のご寄付をいただき、かつお名前の公開を許可していただいた方のみ、お名前を下記に掲載させていただきます(順不同)。ありがとうございました!

ヤタベジュンヤ 様、石原祥太郎 様、石井大智 様、Hiroyuki Shindo 様、阪和之 様、株式会社RedDotDroneJapan、染谷悠一郎 様、井上敬太 様、山本 Max 匡人 様、磯野眞  様、福井雅行

Members

Keisuke FUJII(藤井慶輔), Head of Sports Behavior Group.

Associate Professor (Graduate School of Informatics), RIKEN AIP Visiting Scientist, PRESTO Researcher, Homepage (E) ()

Makoto ITOH(伊藤真), Sports Behavior Group

Researcher (Graduate school of Informatics), Homepage

Kai AMINO網野海), Sports Behavior Group

Researcher (JSPS PD, Graduate school of Informatics), Homepage

Ziyi ZHANG, Sports Behavior Group

Ph.D candidate

Calvin YEUNG, Sports Behavior Group

Ph.D candidate, Homepage

Qingrui HU, Sports Behavior Group

Ph.D candidate

Atom SCOTT, Sports Behavior Group

Ph.D candidate, Homepage

Haobin QIN, Sports Behavior Group

Ph.D candidate

Yin LI, Sports Behavior Group

Ph.D candidate

Tomohiro SUZUKI, Sports Behavior Group

Ph.D candidate

Rikuhei UMEMOTO, Sports Behavior Group

Ph.D candidate, Homepage

Ren KOBAYASHI, Sports Behavior Group

Master student

Ryota TANAKA, Sports Behavior Group

Master student

Kazuhiro YAMADA, Sports Behavior Group

Master student

Jiale FANG, Sports Behavior Group

Master student

Kenjiro IDE, Sports Behavior Group

Master student

Shunsuke IWASHITA, Sports Behavior Group

Master student

Zhuoer YIN, Sports Behavior Group

Master student

Yohei OGAWA, Sports Behavior Group

Bachelor student

Takumi MIURA, Sports Behavior Group

Bachelor student

Hikaru YOSHIHARA, Sports Behavior Group

Bachelor student

Projects

Tactical evaluation technology that can be simulated from videos

Grant-in-Aid for Scientific Research(B) (JSPS) 科研費 基盤研究(B) 

Developing explainable tactical evaluation technology that can be simulated from videos in multi-agent motions.  集団運動における動画からシミュレートできる説明可能な戦術評価技術に関する研究を行います。

Methods for rule / learning-based analysis and intervention policy in hierarchical bio-navigation

Grant-in-Aid for Transformative Research Areas (A) (JSPS) 科研費 学術変革(A) 

Developing technologies for rule / learning-based analysis and intervention policy in hierarchical bio-navigation. 階層的な(個体間相互作用を伴う)生物ナビゲーションにおける数理・学習ベースの解析方法や介入方策決定手法の研究を行います。

Technologies for explanation and decision making in multi-agent motions

PRESTO, Japan Science and Technology Agency  科学技術振興機構さきがけ「信頼されるAIの基盤技術」

Developing technologies for explanation and decision making available to specialists in biological multi-agent motions. 生物集団移動の専門家が利用可能な説明・意思決定のための基盤技術に関する研究を行います。

Recent Researches [list] [survey]

Runner re-identification from single-view video in the open-world setting

Open-world設定における単眼映像からのランナー再同定

Tomohiro Suzuki, Kazushi Tsutsui, Kazuya Takeda, Keisuke Fujii, Runner re-identification from single-view video in the open-world setting, arXiv:2310.11700, 2023 

Multi-agent statistical discriminative sub-trajectory mining and an application to NBA basketball

統計的に識別可能なマルチエージェント部分軌跡のマイニングとNBAバスケットボールへの応用

Rory Bunker, Vo Nguyen Le Duy, Yasuo Tabei, Ichiro Takeuchi, Keisuke Fujii, Multi-agent statistical discriminative sub-trajectory mining and an application to NBA basketball, arXiv:2311.16564, 2023 

Evaluating Soccer Match Prediction Models: A Deep Learning Approach and Feature Optimization for Gradient-Boosted Trees

サッカー試合予測モデルの評価: 深層学習アプローチと勾配ブーストツリーの特徴最適化

Calvin Yeung, Rory Bunker, Rikuhei Umemoto, Keisuke Fujii, Evaluating Soccer Match Prediction Models: A Deep Learning Approach and Feature Optimization for Gradient-Boosted Trees, arXiv preprint arXiv:2309.14807, 2023 [code] 

A Strategic Framework for Optimal Decisions in Football 1-vs-1 Shot-Taking Situations: An Integrated Approach of Machine Learning, Theory-Based Modeling, and Game Theory

サッカーの1対1のシュート状況における最適な意思決定のための戦略的フレームワーク: 機械学習、理論に基づくモデリング、ゲーム理論の統合的アプローチ

Calvin C. K. Yeung, Keisuke Fujii, A Strategic Framework for Optimal Decisions in Football 1-vs-1 Shot-Taking Situations: An Integrated Approach of Machine Learning, Theory-Based Modeling, and Game Theory, arXiv preprint arXiv:2307.14732, 2023 [code]

Transformer-Based Neural Marked Spatio Temporal Point Process Model for Football Match Events Analysis

サッカー時空間イベント予測に基づく分析のためのトランスフォーマーベースのニューラル符号化時空間点過程モデル

Calvin C. K. Yeung, Tony Sit, Keisuke Fujii, Transformer-Based Neural Marked Spatio Temporal Point Process Model for Football Match Events Analysis, arXiv preprint arXiv:2302.09276, 2023 [code] 

Location analysis of players in UEFA EURO 2020 and 2022 using generalized valuation of defense by estimating probabilities

UEFA EURO 2020および2022におけるイベント確率推定による一般化された守備評価

Rikuhei Umemoto, Kazushi Tsutsui, Keisuke Fujii, Location analysis of players in UEFA EURO 2020 and 2022 using generalized valuation of defense by estimating probabilities, arXiv preprint arXiv:2212.00021, 2022 [code] 

Adaptive action supervision in reinforcement learning from real-world multi-agent demonstrations

強化学習における実世界のマルチエージェントのお手本からの適応的な行動の教師あり学習

Keisuke Fujii, Kazushi Tsutsui, Atom Scott, Hiroshi Nakahara, Naoya Takeishi, Yoshinobu Kawahara, Adaptive action supervision in reinforcement learning from real-world multi-agent demonstrations, International Conference on Agents and Artificial Intelligence (ICAART 2024), accepted [arXiv] 

Decentralized policy learning with partial observation and mechanical constraints for multiperson modeling

多人数モデリングのための部分観測と機械的制約を用いた分散型政策学習

Keisuke Fujii, Naoya Takeishi, Yoshinobu Kawahara, Kazuya Takeda, Decentralized policy learning with partial observation and mechanical constraints for multiperson modeling, Neural Networks, 2023.12 [code] [arXiv] 

Action valuation of on- and off-ball soccer players based on multi-agent deep reinforcement learning

マルチエージェントの深層強化学習に基づくサッカー選手のオンボールとオフボールの行動評価

Hiroshi Nakahara, Kazushi Tsutsui, Kazuya Takeda, Keisuke Fujii, Action valuation of on- and off-ball soccer players based on multi-agent deep reinforcement learning, IEEE Access, 11, 131237 - 131244, 2023.12 [arXiv] [note]  

Extracting proficiency differences and individual characteristics in golfers' swing using single-video markerless motion analysis

単一ビデオによるマーカーレス動作解析を用いたゴルファーのスイングにおける習熟度差と個人特性の抽出

Kota Yamamoto, Yumiko Hasegawa, Tomohiro Suzuki, Hiroo Suzuki, Hiroko Tanabe, Keisuke Fujii, Extracting proficiency differences and individual characteristics in golfers' swing using single-video markerless motion analysis, Frontiers in Sports and Active Living, 5:1272038, 2023.11. 

An Events and 360 Data-Driven Approach for Extracting Team Tactics and Evaluating Performance in Football

サッカーにおけるチーム戦術の抽出とパフォーマンス評価のためのイベントデータと360データに基づくアプローチ

Calvin Yeung, Rory Bunker, An Events and 360 Data-Driven Approach for Extracting Team Tactics and Evaluating Performance in Football, StatsBomb Conference, 2023.10 [code] 

A Comparative Evaluation of Elo Ratings- and Machine Learning-based Methods for Tennis Match Result Prediction

テニスの試合結果予測におけるEloレーティングと機械学習ベースの手法の比較評価

Rory Bunker, Calvin C.K. Yeung, Teo Susnjak,  Chester Espie,  Keisuke Fujii, A Comparative Evaluation of Elo Ratings- and Machine Learning-based Methods for Tennis Match Result Prediction, Journal of Sports Engineering and Technology, 2023.11 

Automatic Edge Error Judgment in Figure Skating Using 3D Pose Estimation from a Monocular Camera and IMUs

単眼カメラとIMUによる3次元姿勢推定を用いたフィギュアスケートにおけるエッジエラーの自動判定

Ryota Tanaka, Tomohiro Suzuki, Kazuya Takeda, Keisuke Fujii, Automatic Edge Error Judgment in Figure Skating Using 3D Pose Estimation from a Monocular Camera and IMUs, 6th International ACM Workshop on Multimedia Content Analysis in Sports (MMSports) at ACM Multimedia (MM 2023), 2023.11 [code] 

Ryota Tanaka, Tomohiro Suzuki, Kazuya Takeda, Keisuke Fujii, Automatic Edge Error Judgment in Figure Skating Using 3D Pose Estimation From Inertial Sensors, IEEE 12th Global Conference on Consumer Electronics (GCCE 2023),  2023.10  (short paper)

Score Prediction Using Multiple Object Tracking for Analyzing Movements in 2-vs-2 Handball

ハンドボール2対2における動作解析のための複数物体追跡を用いた得点予測

Ren Kobayashi, Rikuhei Umemoto, Kazuya Takeda, Keisuke Fujii, Score Prediction Using Multiple Object Tracking for Analyzing Movements in 2-vs-2 Handball, IEEE 12th Global Conference on Consumer Electronics (GCCE 2023),  2023.10  (short paper)

Estimation of control area in badminton doubles with pose information from top and back view drone videos

バドミントンダブルスにおける上方および後方からのドローン映像から抽出された姿勢情報を用いたコントロール領域の推定

Ning Ding, Kazuya Takeda, Wenhui Jin, Yingjiu Bei, Keisuke Fujii, Estimation of control area in badminton doubles with pose information from top and back view drone videos, Multimedia Tools and Applications, 2023.8 [arXiv]  

Deep Reinforcement Learning and Biological Pursuit Behavioral Rule for Robust and Interpretable Navigation

ロバストで解釈可能なナビゲーションのための深層強化学習と生物学的追跡行動規則の融合

Kazushi Tsutsui, Kazuya Takeda, Keisuke Fujii, Synergizing Deep Reinforcement Learning and Biological Pursuit Behavioral Rule for Robust and Interpretable Navigation, 1st Workshop on the Synergy of Scientific and Machine Learning Modeling  (SynS and ML) co-located with the International Conference on Machine Learning  (ICML'23), 2023.8  

Multi-agent deep-learning based comparative analysis of team sport trajectories

MADCA: 深層学習にに基づくチームスポーツ軌道の比較分析

Ziyi Zhang, Rory Bunker, Kazuya Takeda, Keisuke Fujii, Multi-agent deep-learning based comparative analysis of team sport trajectories, IEEE Access, 11, 43305 - 43315, 2023.5. 

Pitching strategy evaluation via stratified analysis using propensity score

傾向スコアを用いた層別分析による投球戦略評価

Hiroshi Nakahara, Kazuya Takeda, Keisuke Fujii, Pitching strategy evaluation via stratified analysis using propensity score, Journal of Quantitative Analysis in Sports, 19(2), 91-102, 2023.5. [arxiv] 

A framework of interpretable match results prediction in football with FIFA ratings and team formation

FIFAレーティングとチーム編成を用いたサッカーにおける解釈可能な試合結果予測の枠組み

Calvin C. K. Yeung,  Rory Bunker, Keisuke Fujii, A framework of interpretable match results prediction in football with FIFA ratings and team formation, PLoS ONE 18(4): e0284318, 2023.4.13. [code] 

Estimating the Effect of Team Hitting Strategies Using Counterfactual Virtual Simulation in Baseball

野球における反事実的仮想シミュレーションを用いたチーム打撃戦略の効果の推定

Hiroshi Nakahara, Kazuya Takeda, Keisuke Fujii, Estimating the Effect of Team Hitting Strategies Using Counterfactual Virtual Simulation in Baseball, International Journal of Computer Science in Sport, 22(1), 1 - 12, 2023.1. [arxiv] 

Cooperative play classification in team sports via semi-supervised learning

半教師あり学習によるチームスポーツの協調プレー分類

Ziyi Zhang, Kazuya Takeda, Keisuke Fujii, Cooperative play classification in team sports via semi-supervised learning, International Journal of Computer Science in Sport, 12, 111-121, 2022.11.17.  

Estimating counterfactual treatment outcomes over time in complex multi-vehicle simulation

複数車両シミュレーションにおける経時的な反事実的介入結果の推定

Keisuke Fujii, Koh Takeuchi, Atsushi Kuribayashi, Naoya Takeishi, Yoshinobu Kawahara, Kazuya Takeda, Estimating counterfactual treatment outcomes over time in complex multi-vehicle simulation, In Proceedings of 30th ACM SIGSPATIAL International Conference on Advances in Geographic Information Systems (ACM SIGSPATIAL 2022), 7, 1-4, 2022.11.2 (short paper). [full (arxiv)] [code] [poster] (Best Poster Award)  

Emergence of Collaborative Hunting via Multi-Agent Deep Reinforcement Learning

マルチエージェント深層強化学習による協調的狩猟の創発

Kazushi Tsutsui, Kazuya Takeda, Keisuke Fujii, Emergence of Collaborative Hunting via Multi-Agent Deep Reinforcement Learning, International Workshop on Human Behavior Understanding (HBU'22) in conjunction with 26th International Conference on Pattern Recognition (ICPR'22), 2022.8.21.  

Automatic detection of faults in race walking from a smartphone camera: a comparison of an Olympic medalist and university athletes

スマートフォンカメラから競歩の反則を自動検出:オリンピックメダリストと大学選手の比較 [arxiv] [code] 

Tomohiro Suzuki, Kazuya Takeda, Keisuke Fujii, Automatic Fault Detection in Race Walking From a Smartphone Camera via Fine-Tuning Pose Estimation, IEEE 11th Global Conference on Consumer Electronics (GCCE 2022), accepted.

2022年6月 鈴木智大・武田一哉・藤井慶輔, 第4回彗ひろば(バイオメカニクス研究会)学生部門 発表賞 受賞

SoccerTrack: サッカーにおける魚眼動画とドローン動画のデータセットと追跡アルゴリズム

Atom Scott, Ikuma Uchida, Masaki Onishi, Yoshinari Kameda, Kazuhiro Fukui, Keisuke Fujii, 8th International Workshop on Computer Vision in Sports (CVsports) at Conference on Computer Vision and Pattern Recognition (CVPR' 22), 3569-3579, 2022.6.21 [code] 

Previous Researches [list] [survey]

軌道予測に基づいた味方の得点機会を創出するサッカー選手の評価

Masakiyo Teranishi, Kazushi Tsutsui, Kazuya Takeda, Keisuke Fujii, 9th Workshop on Machine Learning and Data Mining for Sports Analytics 2022 (MLSA'22) co-located with the European Conference on Machine Learning and Principles and Practice of Knowledge Discovery (ECML-PKDD'22), 2022.9.19. [Full (arxiv)][code] 

2022年1月 寺西真聖, 筒井和詩, 武田一哉, 藤井慶輔, 第11回日本統計学会スポーツ統計分科会スポーツデータ解析コンペティション サッカー部門 優秀賞 受賞

バドミントン選手評価のための技術的および戦術的文脈を考慮した深層強化学習

Ding Ning, Kazuya Takeda, Keisuke Fujii, Deep reinforcement learning in a racket sport for player evaluation with technical and tactical contexts, IEEE Access, 10, 54764 - 54772, 2022 [code]

Learning interaction rules from multi-animal trajectories via augmented behavioral models

生物集団の軌跡から相互作用の規則を拡張行動モデルを介して学習する

Keisuke Fujii, Naoya Takeishi, Kazushi Tsutsui, Emyo Fujioka, Nozomi Nishiumi, Ryoya Tanaka, Mika Fukushiro, Kaoru Ide, Hiroyoshi Kohno, Ken Yoda, Susumu Takahashi, Shizuko Hiryu, Yoshinobu Kawahara, Advances in Neural Information Processing Systems (NeurIPS'21), 34, 2021 [arXiv] [slide][openreview][code][Press EN/JP] 

Extraction of swing motion contributing to prediction of shuttle drop position in badminton

バドミントンのシャトル位置予測に寄与するスイング動作の抽出

Tatsuya Yoshikawa, Kazushi Tsutsui, Kazuya Takeda, Keisuke Fujii,  30th International Joint Conference on Artificial Intelligence (IJCAI-21) workshop on AI for Sports Analytics (AISA), 2021

吉川達也, 藤井慶輔, 武田一哉, 第3回彗ひろば(バイオメカニクス研究会), 学生部門発表賞, 2021年6月 

サッカーにおけるボール奪取・被有効攻撃予測に基づくチームの守備評価

Kosuke Toda, Masakiyo Teranishi, Keisuke Kushiro & Keisuke Fujii, PLoS One, 17(1) e0263051, 2022  [arXiv].

戸田康介, 寺西真聖, 久代恵介, 藤井慶輔, 第10回日本統計学会スポーツ統計分科会スポーツデータ解析コンペティション サッカー部門 優秀賞 受賞 2021年1月 

スポーツ習慣のある統合失調症患者の認知と対人協調運動

Keisuke Fujii, et al., PLoS One 15(11), e0241863,  2020

サッカーにおける戦術的な評価を反映した模倣学習による選手の軌道予測

Masakiyo Teranishi, Keisuke Fujii, Kazuya Takeda, IEEE 9th Global Conference on Consumer Electronics (GCCE 2020), 2020. Excellent Student Paper Award (On-demand), Bronze Prize

寺西真聖, 藤井慶輔, 武田一哉, 第34回人工知能学会全国大会, 2020年6月

寺西真聖, 藤井慶輔, 武田一哉, 第2回彗ひろば(バイオメカニクス研究会), 学生部門発表賞, 2020年6月

複雑な集団運動におけるネットワークダイナミクスの物理的に解釈可能な分類 

Keisuke Fujii, Naoya Takeishi, Motokazu Hojo, Yuki Inaba, Yoshinobu Kawahara, Scientific Reports 10 3005 2020 [arXiv] [code

集団運動ダイナミクスにおける方程式フリーの予測と分類 

Keisuke Fujii, Takeshi Kawasaki, Yuki Inaba, Yoshinobu Kawahara, PLoS Computational Biology 14(11) e1006545 2018

Koopman spectral kernels for comparing complex dynamics: Application to multiagent sport plays, Keisuke Fujii, Yuki Inaba, Yoshinobu Kawahara, ECML-PKDD'17 127-139 2017

回復力のある助ける行動:小規模な人間集団における、階層的なサブシステムの切替と重複 

Keisuke Fujii, Keiko Yokoyama, Takeshi Koyama, Akira Rikukawa, Hiroshi Yamada, Yuji Yamamoto, Scientific Reports 6(23991) 2016

Alumni and Alumnae

Kazushi TSUTSUI(筒井和詩), Sports Behavior Group

Designated Assistant Professor (Graduate school of Informatics), Homepage

Kota YAMAMOTO山本耕太), Sports Behavior Group

Researcher (JSPS PD, Graduate school of Informatics), Homepage

Yu Teshima(手嶋 優風), Sports Behavior Group

Researcher (JSPS PD, Graduate school of Informatics)

Ning DING, Sports Behavior Group

Ph.D candidate, Homepage

Rory BUNKER, Sports Behavior Group

Technical Assistant

Hiroshi NAKAHARA, Sports Behavior Group

Master student

Tatsuya YOSHIKAWA, Sports Behavior Group

Master student

Masakiyo TERANISHI, Sports Behavior Group

Master student

Taku UMEDA, Driver Behavior Group

Master student

Previous Projects

Commercialization of technologies to evaluate team sports tactics based on image processing and machine learning predictions

START University Ecosystem Promoting GAP Fund Program (JST) START大学エコシステム推進型GAPファンドプログラム

Developing technologies to evaluate team sports tactics based on image processing and machine learning predictions. 集団スポーツ戦術を画像処理と機械学習の予測に基づき評価する技術の事業化を行います。

Easily-available technologies based on data-driven models

Grant-in-Aid for Scientific Research(B) (JSPS) 科研費 基盤研究(B) 

Developing easily-available information technologies based on data-driven models for sports. 機械学習などを用いたスポーツのデータ駆動的モデルに基づく、スポーツ現場が利用しやすい情報提供技術に関する研究を行います。

Discovering neural bases supporting good teamwork

Grant-in-Aid for Scientific Research(B) (JSPS) 科研費 基盤研究(B) (分担)

Developing evaluation technologies for discovering neural bases supporting good teamwork. チームワークの良さを支える神経基盤の解明に貢献するための、評価手法に関わる情報技術の研究を行います。

Data-driven Analysis in Multi-agent Motions 

Grant-in-Aid for Scientific Research on Innovative Areas (JSPS) 科研費 新学術領域研究(生物移動情報学) 

Developing algorithms for analyzing multi-agent motions forming teamwork, especially for evaluating and understanding them by modeling with machine learning. チームワークを形成する集団運動の移動データを解析する手法を開発します。特に機械学習などを用いてモデル化して評価・理解する手法に取り組みます。

Visualization of Social Behaviors 

Grant-in-Aid for Young Scientists (JSPS) 科研費 若手研究

Developing algorithms for visualizing social behaviors in collective motions, especially for classifying and evaluating them in interpretable ways with machine learning. 集団運動における社会的な行動を可視化する手法を開発します。特に機械学習などを用いて解釈可能な形式で分類・評価する手法に取り組みます。