$ $
풀이. $\tan$ 함수의 세배각공식에 의하면,
\[ \tan(3 \theta) = \frac{3 \tan(\theta) - \tan^3(\theta)}{1 - 3 \tan^2(\theta)} \]
가 성립한다. 이제 편의를 위해 위 식에서 $x = \tan(\theta)$로 치환하자. 한 편, $\tan$ 함수의 성질에 의해
\[ \begin{align*}
& \tan(3 \cdot 20^{\circ}) = \tan(60^{\circ}) = \sqrt{3} = \tan(60^{\circ}), \\[5pt]
& \tan(3 \cdot (-40^{\circ})) = \tan(-120^{\circ}) = \sqrt{3} = \tan(60^{\circ}), \\[5pt]
& \tan(3 \cdot 80^{\circ}) = \tan(240^{\circ}) = \sqrt{3} = \tan(60^{\circ})
\end{align*} \]
가 성립하므로, $\tan(20^{\circ})$, $\tan(-40^{\circ})$, $\tan(80^{\circ})$가 다음 삼차방정식
\[ \sqrt{3} = \frac{3x - x^3}{1 - 3x^2} \]
의 세 실근이 됨을 알 수 있다. 이제 위 방정식을 정리하면
\[ x^3 - 3\sqrt{3}x^2 - 3x + \sqrt{3} = 0 \]
을 얻는다. 따라서 삼차방정식의 근과 계수와의 관계에 의해
- $ \tan(20^{\circ}) \tan(40^{\circ}) \tan(80^{\circ}) = - \tan(20^{\circ}) \tan(-40^{\circ}) \tan(80^{\circ}) = \sqrt{3}$,
- $\tan(20^{\circ}) - \tan(40^{\circ}) + \tan(80^{\circ}) = \tan(20^{\circ}) + \tan(-40^{\circ}) + \tan(80^{\circ}) = 3 \sqrt{3}$
을 각각 얻는다.
$ $
한 편, $\tan^2(20^{\circ})$, $\tan^2(-40^{\circ})$, $\tan^2(80^{\circ})$은 다음 방정식 \[ (\sqrt{x})^3 - 3\sqrt{3}(\sqrt{x})^2 - 3(\sqrt{x}) + \sqrt{3} = 0 \] 의 세 실근이 된다. 여기서 위 식을 정리하면 \[ \begin{align*} & (\sqrt{x})^3 - 3\sqrt{3}(\sqrt{x})^2 - 3(\sqrt{x}) + \sqrt{3} = 0 \\[5pt] & \qquad \implies (\sqrt{x})^3 - 3(\sqrt{x}) = 3\sqrt{3}(\sqrt{x})^2 - \sqrt{3} \\[5pt] & \qquad \implies \sqrt{x}(x - 3) = \sqrt{3}(3x - 1) \\[5pt] & \qquad \implies x(x - 3)^2 = 3 (3x - 1)^2 \\[5pt] & \qquad \implies x^3 - 33x^2 + 27x - 3 = 0. \end{align*} \] 그러므로 다시 한 번 삼차방정식의 근과 계수와의 관계에 의해
- $\tan^2(20^{\circ}) + \tan(40^{\circ})^2 + \tan^2(80^{\circ}) = \tan^2(20^{\circ}) + \tan(-40^{\circ})^2 + \tan^2(80^{\circ}) = 33$
을 얻는다.$ $