Lo que vamos hacer es reemplazar la imagen que viene por defecto llamada ic_launcher y de esta forma nos evitaremos ir creando una a una cada imagen con el tamaño respectivo puesto que lo hará Android Studio automáticamente.
Lo primero es clic derecho, por ejemplo, en el directorio «mipmap» e ir por el menú: New - Image Asset
Lo siguiente es escoger la ubicación de la imagen que se utilizará como icono. Se mantiene el nombre de ic_launcher.
Una vez seleccionada la imagen se mostrará la visualización de esta en los distintos formatos. Y además indica los archivos que serán creados y reemplazados en el directorio de la aplicación.
Una vez finalizado el proceso, cuando se genere el archivo instalador de la aplicación (apk) y se instale se tendrá el nuevo icono. Esto lo podemos ver igualmente si ejecutamos el simulador. En la siguiente imagen se puede ver la aplicación llamada MemoryDev con la imagen de icono (el huevo).
Realizado con Android Studio 2.2.3