Ракутен выпустила модель Rakuten AI 3.0, конфигурационные файлы показывают, что базовая архитектура — DeepSeek V3

Gate News сообщает, 17 марта, группа Rakuten сегодня выпустила Rakuten AI 3.0 под названием «самая мощная высокопроизводительная модель ИИ в Японии», открытое программное обеспечение по лицензии Apache 2.0. Эта модель основана на архитектуре MoE (смеситель экспертов), содержит 671 миллиард параметров, активируется 37 миллиардов раз при каждом выводе, имеет окно контекста 128K, оптимизирована для японского языка и превосходит GPT-4o по нескольким японским бенчмаркам. Модель является результатом совместного проекта GENIAC, реализуемого Министерством экономики, торговли и промышленности Японии и Институтом комплексного развития технологий в области новых энергетических отраслей (NEDO), при этом японское правительство предоставило часть вычислительных ресурсов для её обучения. В объявлении Rakuten указывается, что исходная модель основана на «максимальном использовании лучших результатов открытого сообщества», без указания конкретной модели. Сообщество сразу же проверило файлы модели на HuggingFace и обнаружило, что в файле config.json явно указаны model_type: deepseek_v3 и architectures: DeepseekV3ForCausalLM, при этом общие параметры 671B, активность 37B и окно контекста 128K полностью совпадают с DeepSeek V3, что свидетельствует о том, что эта модель была доработана на базе DeepSeek V3 с использованием японских данных.