Воспользуемся следующими формулами:

cosα + cosβ	=  2cos	α + β	∙ cos	α - β
		2		2

1) Преобразуем числитель:

1 + cosa + cos2a + cos3a = (1 + cos2a) + (cosa + cos3a) = 2cos²a + 2cos(3a + a)/2·cos(3a - a)/2 = 2cos²a + 2cosacos2a = 2cosa(cosa + cos2a), здесь вынесли 2cosa за скобки.

2) Преобразуем знаменатель:

sin2a + 2sina · cos2a = 2sinacosa + 2sinacos2a = 2sina(cosa + cos2a), здесь 2sina вынесли за скобки.

3) Как видно, числитель и знаменатель можно сократить на (cosa + cos2a).

Остается:

2cosa / 2sina = cosa / sina = ctga.