Ta có: (a2 + 4b2)2 + 3a2b2 = 2(a2 + b2)(a2 + 2b2) ≥4ab(a2 + 2b2)
Suy ra: (ba+a2b)2+3≥4(ba+a2b)⇔ba+a2b≥3
Đặt t = ba+a2b≥3
Khi đó: P=b3a3+b3+a38b3+1+ab(a2+2b2)9(a2+2b2)−4a2b2
=(ba+a2b)3−6(ba+a2b)+1+9(ba+a2b)−ba+a2b4=t3+3t+1−t4=f(t)
Vì f(t) là hàm đồng biến trên ∀t≥3⇒P≥f(3)=3107
Đẳng thức xảy ra khi a = b = 1. Vậy min P = 3107.