Пусть x (км/ч) − скорость лодки в стоячей воде, тогда:

5 ч 20 мин = $5\frac{1}{3}$ (ч)
Так как, на весь путь лодка затратила 5 ч 20 мин, составим уравнение:
$\frac{30}{x + 3} + \frac{30}{x - 3} = 5\frac{1}{3}$ |*3(x + 3)(x − 3)
$\begin{equation*} \begin{cases} 90(x - 3 + x + 3) = 16(x^2 - 9) &\\ x > 3 & \end{cases} \end{equation*}$
$180x = 16(x^2 - 9)$ |:4
$45x = 4(x^2 - 9)$
$4x^2 - 45x - 36 = 0$
(4x + 3)(x − 12) = 0
4x + 3 = 0
4x = −3
$x_1 = -0,75$
x − 12 = 0
$x_2 = 12$
$\begin{equation*} \begin{cases} x_1 = -0,75; x_2 = 12 &\\ x > 3 & \end{cases} \end{equation*}$
Скорость лодки не может быть отрицательной, значит:
x = 12 (км/ч) − скорость лодки в стоячей воде.
Ответ: 12 км/ч