Bratrstvo poustevníků (Congregatio fratrum eremitarum divi Ivani) založil bývalý učitel z Jablonného Dominik Antonín Stey r. 1725, statuta bratrstva schválil pražský arcibiskup David Josef Mayer r. 1732. Bratři žili v poustevnách, živili se milodary a rukodělnou prací. Sám Stey (*1670 - +1738), jenž v kongregaci přijal jméno Pavel od Panny Marie, sepsal "Poustevnickou reguli svatoivanské kongregace aneb bratrstva", jež vyšla knižně pod názvem Lilium Covallium. Mezi nejvýznamnější poustevny ivanitů patřila poustevna na známém poutním místě na Křemešníku u Pelhřimova, jediná poustevna v širokém okolí. Když byli ivanité v roce 1782 zrušeni, čítalo jejich bratrstvo 83 poustevníků.