¿Que significa desfragmentar el disco duro?

"Fragmentación" es algo que le sucede a cada unidad como resultado natural de los datos que se escriben en el dispositivo. Cuando formateas una unidad, estás dividiendo su espacio de almacenamiento en un sistema bien organizado. Un mapa de la unidad que permite al ordenador saber exactamente dónde se encuentra cada bit (literal) de información.
En un disco recién formateado, los nuevos datos se escriben en una secuencia ininterrumpida. Sin embargo, cuando se borra un archivo, deja un hueco en esa secuencia. El ordenador marca ese espacio como disponible para ser sobrescrito. Hasta ahora, todo bien.
El problema es que tus nuevos datos probablemente no encajen bien en ese hueco. Así que el sistema operativo llenará el hueco con la primera parte del archivo que está escribiendo y luego buscará el siguiente espacio abierto, lo que llevará a fragmentos de datos esparcidos por toda la unidad.
Como puedes imaginar, esto hace que la lectura de un archivo completo o de un conjunto de archivos relacionados sea más difícil, ya que tienes que saltar de un lugar a otro. También puede ser una receta para los problemas de rendimiento. Al menos, lo ha sido para las unidades mecánicas.

¿Por qué las unidades mecánicas (en teoría) necesitan una buena desfragmentación?

Los discos duros mecánicos almacenan datos en placas de vidrio o aluminio recubiertas de material magnético. Los platos giran a miles de revoluciones por minuto y los delicados cabezales de lectura/escritura se mueven por encima de su superficie leyendo y escribiendo información.
Los datos están dispuestos en pistas y si sus datos están todos en una línea ordenada, significa que el cabezal puede quedarse en un lugar y recoger todos esos bits. Si la unidad está fragmentada, significa que las cabezas tienen que moverse por todo el lugar para obtener los datos que pediste. Dado que son objetos físicos con una buena cantidad de masa, hay un límite a la rapidez con la que se puede hacer esto.

Cuando se desfragmenta un disco, el ordenador vuelve a mezclar todos sus datos, utilizando el espacio libre del disco como espacio de clasificación. Es un proceso masivo que consume mucho tiempo. Sin embargo, en unidades muy fragmentadas podría marcar una diferencia notable en la respuesta del sistema. Al menos en el hardware más antiguo.
Verás, las unidades mecánicas se han vuelto significativamente más rápidas y eficientes a lo largo de los años. Una densidad de datos mucho más alta, más cabezales, más platos, mayores RPM y una mejor electrónica de la unidad han hecho que los nuevos discos duros sean mucho más rápidos. Tanto es así, que los efectos de la fragmentación no merecen la pena en la mayoría de los casos.
Los ordenadores también tienen tanta RAM hoy en día, que los sistemas operativos pueden almacenar en caché la información de la unidad. Los discos duros mecánicos modernos tienen grandes búferes, que pueden suavizar las limitaciones mecánicas de su diseño. Así que al final, incluso desfragmentar un disco moderno probablemente no resultará en ningún aumento notable del rendimiento.

¿A todos los ordenadores le afecta la fragmentación?

Todavía se sigue hablando de la desfragmentación del PC como algo genérico y necesario en todos los PCs. Pero esto no es así, la fragmentación solo afecta a los discos duros mecánicos y no a los discos duros SSD, para mas información te recomiendo leer el artículo de ¿Se debe desfragmentar un disco SSD?