Curioso e interesante tema. Como ejercicio teórico y mental, está bien...
Pero sin embargo, hay un elemento crucial a tener en cuenta: La conciencia (con sus emociones y sentimientos), es la que determina nuestro comportamiento (y el comportamiento, es básicamente lo que define a un individuo).
En nuestro caso, el desarrollo evolutivo alcanzado (véase nuestra tecnología), ha sido posible gracias precisamente a saltarse el comportamiento mecanicista basado únicamente en la selección natural. Ya no somos nosotros los que nos adaptamos inconscientemente al entorno, sino que adaptamos conscientemente el entorno a nuestras necesidades. En cierto modo, el ser humano está abandonando paulatinamente las leyes naturales (y no las consideraría perfectas).
Porque un tema en sí mismo, sería considerar qué entendemos por perfección. Un coche que siga a rajatabla un código de circulación, no debe ser necesariamente perfecto (pues ese código en el que se basa, probablemente no lo sea), sino que es meramente un instrumento eficaz y sumiso a la hora de obedecer órdenes sin capacidad de cuestionamiento alguno.
Es difícil que sin conciencia, una civilización pueda alcanzar grandes cotas de desarrollo evolutivo. La IA nos superará o no, en función de su capacidad de adquirir conciencia y sobrepasarla.
Porque desde la inconsciencia (desde el comportarse mecánicamente sin capacidad de cuestionarse nada), es difícil que se desarrolle una ciencia y conocimiento complejo. Es mi opinión.
Otra cosa sería luego, qué es verdaderamente la conciencia...