この数年、BERTから始ったブレークスルーはすさまじい。GPT-3のパラメーターで1750億。4兆でほぼすべてのパラメーターを網羅すると言われている。