AIの研究において、進歩とはしばしば、より大きなモデルであることと同一視されます。しかし サムスン ‘s Montreal AI Lab (SAL) is showing promising results with a different approach. Their new Tiny Recursive Model (TRM) overturns the assumption that performance is proportional to the number of parameters . このモデルはわずか700万個のパラメータしか持たないにもかかわらず、数千倍のシステムに匹敵する、あるいはそれ以上の推論能力を示しています。
のオープンソースリリースでは ギットハブ SAILラボは、コアとなる再帰プロセスを備えたAIモデルの設計と、それに対応するarXivの論文について説明しています。 A Recursive Approach to Model Building Instead of building massive networks, TRM uses recursion. Recursion is like repeatedly asking, “Is my answer good? If not, can I make it better?” The model produces an answer once, then goes back and refines it.
こちらもお読みください: CTCSP株式会社、「デジタルワークプレイス for AI」ソリューションを発表
This process is repeated several times until the model is satisfied. In the TRM paper, the authors state that they “recursively refine the latent and output states without assuming convergence.” This means that they don’t force the model to settle on a single, fixed answer early on. Furthermore, they use deep supervision, which provides feedback at multiple steps, not just at the end, to aid learning. They also use adaptive halting, so the model decides when to stop refining, rather than running it endlessly. “Through recursion, models with only a few parameters can achieve surprisingly strong performance on inference tasks,” サムスン 研究者のAlexia Jolicoeur-Martineau氏らは、GitHubリポジトリとarXivで公開された論文でこのように書いています。
ソース ヤフー


