@stalkermustang
Автор разбирался, почему сжатие контекста происходит так рано. Выяснилось, что улучшение длины контекста и интервалов между сжатиями оказалось небольшим. Также он предположил, что новые бенчмарки выявят дополнительные пробелы в обучении, как это было с китайскими open-source моделями.