swyx — 24-05-2026
1 твитов за сутки. Автор предлагает концепцию «co-sign» как ментальную модель для понимания того, почему трансформеры хорошо обучаются на текущих данных, но сталкиваются с фундаментальными ограничениями.
Ограничения трансформеров и необходимость моделей мира — Трансформеры демонстрируют ограничения, пытаясь подогнать данные под неэффективную парадигму; для преодоления этого нужны adversarial world models, способные выдвигать гипотезы и искать истину, а не просто backfitting.
RL против обучения с учителем — Обучение через вмешательства объясняет силу RL, так как оно позволяет учиться на контрфактуалах, чего исторически не удавалось делать эффективно, и может стать ключом к созданию полноценных моделей мира.