$ $
풀이. 우선 위 식에 양변에 대각합(trace)을 취하면,
\[ \tr(A) = \tr(AB - BA) = \tr(AB) - \tr(BA) = \tr(AB) - \tr(AB) = 0 \]
이므로 $\tr(A) = 0$을 얻는다. 이제 $\det(A) \neq 0$이라 가정해 보자. 그러면 $A$의 역행렬이 존재하므로,
\[ AB - BA = A \quad \Rightarrow \quad AB = A + BA \quad \Rightarrow \quad ABA^{-1} = I + B \]
를 얻는다. 이제 위 식에 양변에 대각합을 취하면
\[ \tr(B) = \tr(BA^{-1}A) = \tr(ABA^{-1}) = \tr(I + B) = \tr(I) + \tr(B) = 2 + \tr(B) \]
가 되어 모순이 발생한다. 따라서 $\det(A) = 0$이어야만 함을 알 수 있다.
따라서 $\tr(A) = \det(A) = 0$이다. 이제 케일리-헤밀턴 정리(Cayley-Hamilton theorem)를 적용하면,
\[ O = A^2 - \tr(A)A + \det(A) I = A^2 \]
이 되어 $A^2 = O$임을 알 수 있다.$ $