$ $
풀이. $A^2 = AB + BA$이므로 $AB = A^2 - BA$, $BA = A^2 - AB$가 성립한다. 따라서
\[ \begin{align*} \det(AB - BA) &= \det(A^2 - 2BA) = \det((A - 2B)A) \\[5px] &= \det(A - 2B) \det(A) = \det(A) \det(A - 2B) \\[5px] &= \det(A(A - 2B)) = \det(A^2 - 2AB) \\[5px] &= \det(BA - AB) = \det(-(AB - BA)) \\[5px] &= (-1)^3 \det(AB - BA) = -\det(AB - BA) \end{align*} \]
따라서 $\det(AB-BA) = 0$이 성립한다..
$ $
※ 위 증명을 보면, 주어진 명제는 $n$이 홀수일 때, 임의의 $n$차 정사각행렬에 대해서도 성립함을 알 수 있다. 하지만 $n$이 짝수일 때는 일반적으로 주어진 명제가 성립하지 않는다. 예를 들어 $2$차 정사각 행렬의 경우 아래와 같은 반례가 존재한다.
\[ A = \begin{pmatrix} 1 & -1 \\ 0 & -1 \end{pmatrix}, \qquad B = \begin{pmatrix} 1 & 0 \\ 1 & -1 \end{pmatrix} \]