$\cos(mx)=e^{imx}$ eşitliği yanlış.Çünkü $e^{imx}$ ifadesi $\cos(mx)+i\sin(mx)$ ' e eşit.Bize sadece reel kısmı gerekiyor.Bunuda şöyle yazabilirsin :
$$\cos(mx)=\Re\:{e^{imx}}$$
Buradaki $"\Re"$ reel kısmı ifade ediyor.
İkinci olarak kalıntıyı bulurken paydadaki $"2z"$ nerden geldi tam anlayamadım.$f(z)$ fonksiyonunun $z_0$ noktasındaki kalıntısı şöyle bulunuyor :
$$Res(f;z_0)=\lim\limits_{z\to{z_0}}\:(z-z_0)\,f(z)$$
Tabi bu $z_0$ 'ın $1.$ dereceden kutup olduğu durumda.Çözümü de şöyle yazsak daha doğru ve anlaşılır olur :
$$\int_Cf(z)dz=2\pi{i}\sum_{n=0}^k\:I(C;z_n)\,Res(f;z_n)\xrightarrow{\:\:\:\:}\\\Re\,\int_C\frac{e^{imx}}{(z+ia)(z-ia)}dz=\Re\bigg[\,2\pi{i}\,Res(f;ia)\bigg]\xrightarrow{\:\:\:\:}\\\Re\bigg[\,2\pi{i}\lim\limits_{z\to{ia}}\:\frac{(z-ia)\:e^{imx}}{(z+ia)(z-ia)}\bigg]=\frac{\pi}{\alpha}\,e^{-m\alpha}$$