Segundo estudos a formação rochosa peculiar é fruto do desgaste do solo ao longo de milhões de anos, em função de fissuras naturais e grandes variações de temperatura. Em algumas pedras são encontradas pinturas rupestres atribuídas aos índios cariris, que viveram na região há cerca de 12 mil anos.
Conta a lenda que um ermitão curandeiro viveu naquela região por volta do século 18, o qual habitava neste lajedo e muitas pessoas procuravam-no para consultar-se. Pai Mateus não cobrava dinheiro em troca de suas curas, apenas comida. Por causa deste ermitão é que o lajedo de Pai Mateus tem este nome.
O lajedo fica a cerca de 25 km da cidade de Cabaceiras (acesso por estrada de terra) e está situado dentro de uma propriedade particular, o Hotel Fazenda Lajedo Pai Mateus.