새 모델이 나왔다고 무조건 갈아타면 안 됩니다.
기존 스킬과 하네스에 대해 evaluation으로 충분히 검증한 뒤에 업그레이드해야 다음 모델이 주는 실제 가치를 측정할 수 있습니다.
Do not switch to a new model just because it shipped. Upgrade only after evaluating it against your existing skills and harness; that is the only way to measure the real value the next model adds.
새 모델이 나왔다고 무조건 갈아타면 안 됩니다.
기존 스킬과 하네스에 대해 evaluation으로 충분히 검증한 뒤에 업그레이드해야 다음 모델이 주는 실제 가치를 측정할 수 있습니다.
모델이 업데이트되면 기존에 세팅해 둔 스킬이 갑자기 작동하지 않는 일이 생깁니다. Opus 5가 나왔을 때 Opus 4.8보다 안 좋다는 이야기가 많았는데, 사람들이 Claude 스킬과 하네스를 다 세팅해 둔 상태에서 모델의 비헤이비어가 완전히 바뀌었기 때문입니다. 알렉스는 이런 evaluation 체계를 갖추는 것까지 AX에 포함된다고 봅니다.Also in EnglishDo not switch to a new model just because it shipped. Upgrade only after evaluating it against your existing skills and harness; that is the only way to measure the real value the next model adds.
When a model updates, skills you set up can suddenly stop working. When Opus 5 launched many said it felt worse than Opus 4.8, because people had tuned their Claude skills and harnesses and the new model's behavior changed completely. Alex counts owning that evaluation setup as part of AX.
