U doba postojanja Otomanskog Carstva svi su muslimani unutar goleme države sačinjavali jednu vjersku zajednicu. Medutim, kako su se pojedine zemlje oslobadale od turske vlasti, na njihovu području su se formirale posebne vjerske zajednice. Tako su nastale islamske vjerske zajednice u Srbiji, Crnoj Gori i Bosni i Hercegovini. U Srbiji islam je bio priznata vjera, ali nije uživao ravnopravan položaj s pravoslavnom crkvom. Slično je bilo i u Cmoj Gori, u kojoj su muslimani sačinjavali posebnu vjersku zajednicu, ali se pravoslavna vjera smatrala državnom.
U Bosni i Hercegovini poslije austrougarske okupacije država se počela miješati u vjerske poslove muslimana, pa je tako državna vlast postavljala njihove vrhovne vjerske starješine i preko njih se upletala u vjersko vodenje muslimana. Muslimani su bili nezadovoljni tom politikom i tražili su da im se prizna vjersko-prosvjetna autonomija. Nakon duge borbe tu su autonomiju 1909. i izborili. Od tada su muslimani svoje vjerske predstavnike birali sami (posredno ili neposredno). Vrhovnu upravu vjerskih poslova vodio je ulema-medžlis, tj. vjersko starješinstvo na čelu s reis-ul-ulemom kojega je na prijedlog posebne vjerske kurije imenovao vladar. 0vlaštenje za vjersko djelovanje dobivao je iz Carigrada od šeih-ul-islama.
Nakon nastanka Kraljevine SHS djelovanje Islamske vjerske zajednice neko je vrijeme ostalo onakvo kako je bilo u pojedinim dijelovima države u trenutku ujedinjenja. Da bi se otklonile teškoće koje su nastajale zbog neujednačenosti njihova položaja i organizacije, donesena je najprije Uredba o upravi vakufa (12. septembra 1919.), a zatim i Zakon o upravi vakufa (28. februara 1922.). Na osnovi tih pravnih akata uspostavljena je jedinstvena islamska vjerska organizacija na području Srbije i Crne Gore,kojom je upravljao vrhovni muftija u Beogradu pod nadzorom ministarstva vjera. Muslimani pak Bosne i Hercegovine i oni koji su živjeli u Hrvatskoj i Sloveniji sačinjavali su drugu zajednicu pod vrhovnom upravom reis-ul-uleme u Sarajevu. Ta je podjela trajala sve do 31. januara 1930., kada je novim zakonom uspostavljena jedinstvena, samostalna Islamska vjerska zajednica za cijelu državu. Tada su dvije odvojene islamske vjerske organizacije povezane u jednu. Na čelu joj je bio reis-ul-ulema sa sjedištem u Beogradu.
Vjerske starješine muslimani su birali sami, a Islamska vjerska zajednica dobivala je financijska sredstva od države pod čijim nadzorom je i stajala. Godine 1936. sjeidšte reis-ul-uleme iz Beograda premješteno je u Sarajevo. Organizacija Islamske vjerske zajednice bila je prilično složena. Nadležnosti njenih organa nisu bile strogo odvojene, a dijelile su se u tri vrste: uredbodavni, vjersko-upravni i imovinskopravni upravni organi. Najviši organ bio je Vrhovni vakufski sabor koji se sastojao od predstavnika koje su birali pojedini vakufski sabori kao niži organi. Taj je organ bio nadležan da bira reis-ul-ulemu i da donosi ustav Islamske vjerske zajednice.Islam smatra bogoslužje glavnim vidom vjerskog života. Bogoslužje se obavlja ili pojedinačno ili zajednički u džamijama i tekijama. Zato je na područjima Kraljevine SHS (kasnije Kraljevine Jugoslavije) s muslimanskim stanovništvom bilo i mnogo džamija. Neke su od njih stare i monumentalne građevine, pa su bile stavljene pod zaštitu države kao spomenici kulture.
Tekije su pak ustanove koje služe za obavljanje naročitih molitava i obreda pojedinih derviških redova. Islam je bio posebno važna sastavnica života stanovništva Bosne i Hercegovine, naročito seoskog. Ipak, konfesionalna pripadnost islamu bosanskohercegovačkog žiteljstva u jugoslavenskoj državi još nije bila bitan činitelj njihova nacionalnog diferenciranja.
U razdoblju izmedu dva svjetska rata ona je bila samo temelj političkog okupljanja i izvorište političkog programa glavne muslimanske političke stranke. Odatle i tijesna povezanost vrhova Islamske vjerske zajednice s političkom strankom bosanskohercegovačkih muslimana.