この数年、BERTから始ったブレークスルーはすさまじい。Transformerの以前と以後で歴史が変わった。GPT-3のパラメーターで1750億。4兆でほぼすべてのパラメーターを網羅すると言われている。