Gate News повідомляє, що 17 березня Moonshot опублікував технічний звіт Attention Residuals, у якому запропоновано замінити фіксовані залишкові з’єднання в Transformer механізмом уваги. На моделі Kimi Linear 48B це може еквівалентно використанню на 25% більше обчислювальної потужності, при цьому затримка при обробці зростає менш ніж на 2%. Вчора ввечері Ілон Маск у X написав: «Вражаюча робота від Kimi», а офіційний акаунт Moonshot у Weibo відповів: «Ти теж добре зібрав ракету!».
Ця публікація також привела до обговорення однієї з співавторів статті: Чен Гуаньюй (англійське ім’я Nathan), 17 років, наразі навчається в старшій школі. Інші двоє співавторів — автор RoPE (ротаційне позиційне кодування) Су Цзянлінь і перший автор Kimi Linear Чжан Ю. Чен Гуаньюй приєднався до Moonshot у листопаді 2025 року. Проект Flash Linear Attention з відкритим кодом на GitHub став його початком у машинному навчанні.
Сам Чен Гуаньюй також відповів у X на обговорення ззовні, зазначивши, що «написати таку статтю, яка поєднує алгоритми, інфраструктурне співпрацювання, експерименти та теорію — навряд чи зможе зробити один людина». У команді Kimi всі активно долучені, Ю Чжан і Су Цзянлінь — рівноправні співучасники, і він наголосив: «Не вірте чуткам».
На профілі LinkedIn Чен Гуаньюй вказав, що навчається у школі Huizhou Basis International Park Lane Harbour. Moonshot Academy є організатором хакатону для старшокласників «Moonshot 48» у березні 2025 року, де Чен Гуаньюй здобув перемогу.