Poolside AI: Lítið teymi, stórt líkan — innsýn í „verksmiðju" fyrir AI-módel

Latent Space tók viðtal við Eiso Kant, meðstofnanda og framkvæmdastjóra Poolside AI, um hvernig fyrirtækið byggði upp svokallaða „model factory" — kerfi og innviði til að þjálfa stór tungumálalíkön. Í viðtalinu fullyrðir Kant að lítið teymi hjá Poolside hafi þjálfað líkan sem heitir Laguna S, sem er svokallað MOE-líkan (Mixture of Experts — arkitektúr þar sem líkanið skiptist í marga sérhæfða „sérfræðinga" sem virkjast eftir þörf) með 118 milljarða stika. Því er lýst sem betra en opið líkan frá öðru fyrirtæki (Thinky) sem er um 1000 milljarðar stika að stærð.

Poolside segist hafa náð að þjálfa 118B MOE líkan (Laguna S) sem á að skila betri árangri en mun stærra ~1T opið líkan frá Thinky, samkvæmt fullyrðingum framkvæmdastjórans í viðtalinu.

Þetta sýnir að minni teymi geta hugsanlega náð samkeppnishæfum árangri við stærri keppinauta með réttum innviðum og aðferðum, frekar en eingöngu stærð líkans eða fjölda starfsmanna.