Não há uma única pedra "mais difícil", pois a rugosidade pode ser definida de maneiras diferentes:

* dureza: Isso se refere à resistência de um material a arranhar. Os diamantes são o material natural mais difícil conhecido, então eles seriam considerados os "mais difíceis" nesse sentido.
* Textura: Uma pedra com uma superfície muito irregular, muitos inchaços e saliências, seria considerada áspera em termos de textura. Isso é subjetivo e pode variar muito entre pedras.
* Abrasão: Algumas pedras, como pedra -pomes, são muito abrasivas e boas para polimento ou limpeza devido à sua textura e composição ásperas.

Então, para responder sua pergunta com precisão, precisamos de mais contexto!

* O que você quer dizer com "áspero" - dureza, textura, abrasividade?
* Qual é o contexto? Você está falando sobre pedras usadas em construção, jóias ou outra coisa?

Depois de esclarecer, posso lhe dar uma resposta mais precisa.