La familia de Karpov era pobre como tantos millones de otras familias de trabajadores de la postguerra, su padre era capataz de una factoría. Tolia aprendió a jugar al ajedrez a los cuatro años, viendo jugar a su padre, quien le enseñó las reglas. Pero a diferencia de los padres de Capablanca o Reshesky, el padre no perdió sus primeras partidas ante su hijo, sino que las ganaba todas, sin excepción. “Estaba a punto de llorar”, recuerda Karpov, “y lo hubiera hecho, de no ser por las palabras de mi padre: ‘Alguien tiene que perder, y si te pones a llorar, nunca más volveré a jugar contigo’.”
Las duras palabras de su padre, por otra parte propias de la escuela soviética, parece que surtieron su efecto y el joven chico de cuatro años siguió aprendiendo y evolucionando hasta que a los siete años se inscribió en la sección de ajedrez del club deportivo de la factoría metalúrgica.
En su adolescencia Karpov era un joven delgaducho y pálido que provocaba algunas dudas en los maestros soviéticos de la época. Furman recordaría más tarde: “Karpov había sido designado para jugar en el primer tablero juvenil del equipo. Era un joven delgado, de cara pálida y aspecto más bien flemático. También parecía que tuviese dificultades para mover las piezas. ¿Era un jugador así realmente capaz de grandes hazañas competitivas?” Gufeld llegó a exclamar al encontrarse por primera vez con Karpov “Este chico nunca será un gran maestro: es demasiado flaco”. Inicialmente incluso el gran Botvinnik, no se mostró especialmente impresionado con el juego del endeble chico de los Urales. Sobre este último Karpov recuerda: “Sus observaciones en cuanto a mi débil tratamiento de las aperturas surtieron efecto, pues comencé a leer literatura ajedrecística”.