Сделаем замену cos2x=t.
Проанализируем замену. Так как cosx∈[−1;1]⇒cos2x∈[0;1]⇒t∈[0;1]
Получаем уравнение:
t2−(a−2)t−3(a+1)=0
Найдём корни уравнения при помощи теоремы Виета:
[t1+t2=a−2t1⋅t2=−3(a+1)
[t1=−3−не на [0;1]t2=a+1
Подставим t2 в ограничение:
0≤a+1≤1
−1≤a≤0
Ответ: [−1;0]