¿Qué nombre tiene este fenómeno raro en las películas / actuación?

No estoy seguro de que haya un nombre para eso. Voy a profundizar en tus ejemplos:

Los actores que hacen un guiño a otros programas o películas, a veces incluso a su propio programa o película, generalmente se consideran meta: un medio por el cual la naturaleza ficticia de la historia está fuertemente implícita pero no desacredita la historia porque está bien imbricada. (Por ejemplo, en el programa de televisión Supernatural, hay un episodio llamado “el error francés” en el que los personajes se encuentran en un televisor donde son actores de un programa de televisión llamado Supernatural. Esto es lo más meta que uno puede obtener, pero esto también se difumina magistralmente por el hecho de que Dean y Sam Winchester se encuentran con muchas ocurrencias extrañas en su línea de trabajo, lo que hace que incluso un gran guiño al mundo real todavía funcione dentro de la historia).

Los actores que interpretan a actores de películas no pueden tener un nombre porque, bueno, una película o un programa de televisión funciona inherentemente con la ilusión de ser un universo independiente que desconoce su naturaleza ficticia. Así, Ben Kingsley interpretando a un actor en una película en la que él es actor es básicamente … interino.

No recuerdo que tenga un nombre único, ya sea como circunstancia o como género.

Y no es particularmente raro en absoluto. Puedo pensar en diez películas que anecdóticamente al menos demostrarían que es relativamente común, al menos lo suficientemente común como para ser considerado un tropo.