W skrócie Okno kontekstu to ile tekstu model "widzi" naraz.
Większe okno pomaga przy długich dokumentach, ale nie zastępuje pamięci.
Model z ogromnym kontekstem potrafi i tak gubić szczegóły ze środka.
Producenci modeli prześcigają się w liczbach: 128k, 256k, milion tokenów kontekstu.