Cho hai số nguyên dương $a, b$ thoả mãn $ab+1\mid a^{2}+b^{2}$. CMR: $\dfrac{a^{2}+b^{2}}{ab+1}$ là một số chính phương

Giả sử $\dfrac{a^2+b^2}{ab+1} = k \in \mathbb{N}$. Khi đó,
\begin{equation} \tag{1} \label{eq:1} a^2 − kab + b^2 = k \end{equation}
Phản chứng, giả sử $k$ không phải là số chính phương, thế thì $k \geqslant 2$.
Giả sử $(a,b)$ là các giá trị nhỏ nhất thỏa mãn \eqref{eq:1}
Không giảm tổng quát, giả sử $a\geqslant b$.
Nếu $a = b$ thì $k = (2 − k)a^2 \leqslant 0$; vậy $a>b$

Xét phương trình
\begin{equation} \tag{2} \label{eq:2} x^2 − kbx + b^2 − k = 0 \end{equation}
Giả sử $a_1$ là nghiệm khác $a$ của \eqref{eq:2}
Theo hệ thức $Viète$ thì $a + a_1 = kb$, suy ra $a_1 \in \mathbb{Z}$.
TH1. Nếu $a > kb$ thì $a-kb\geqslant 1$, khi đó $k=(a-kb)a+b^2\geqslant a + b^2 > kb$, suy ra $b<1$, mâu thuẫn với $b$ nguyên dương.
TH2. Nếu $a = kb$ thì $k = b^2$, mâu thuẫn giả thiết phản chứng.
TH3. Nếu $a < kb$ thì $k < b^2$
Vì $a.a_1 = b^2 − k > 0$  ($Viète$) và $a > 0$
Ta có ngay $a_1 \in \mathbb{N}$ và $a_1=\dfrac{b^2-k}{a}<\dfrac{a^2-k}{a}< a$

Khi đó, ta thấy tồn tại $(a_1, b)$ với $0 < a1 < a$ thỏa mãn \eqref{eq:1}, mâu thuẫn với cách chọn $(a,b)$ là nhỏ nhất.

Vậy tóm lại, $k$ phải là số chính phương

Spoiler: