Mi történt ma reggel a mesterséges intelligenciával?
A Meta ma reggel az arXivon nyilvánosságra hozta az Llama 3 Herd-et, ami egy ún. dense transformer model (mint az “Attention is all you need”, Vaswani et. al. ) Elvileg 128000 token a context ablaka. 15 terabye többnyelvű tokenen lett tanítva és összesen 3.8-szor tíz a huszonötödiken lebegőpontos műveletet hajtottak végre a tréningelésnél. Magyarország leggyorsabb …