بعد از انصراف معاویه بن یزید، امویان وضع بسیار بدی پیدا کردند و تقریبا در اکثر سرزمین های اسلامی با عبدالله بن زبیر بیعت کردند و در منابر برای او خطبه خواندند(به غیر از اردن). امویان در کنگره ای به نام کنگرۀ جابیه، دور هم جمع شدند و مروان را به عنوان خلیفه برگزیدند.
مروان در جنگ سختی در «مرج راهط» توانست قبایل قیسی را شکست بدهد و ضحاک بن قیس در این جنگ کشته شد. وی در مدت کوتاهی توانست خود را به عنوان خلیفه در شام معرفی کند.
مهمترین وظیفۀ مروان، مقابله با قدرتهایی همچون عبدالله بن زبیر بود عبدالله بن زبیری که حالا به عنوان خلیفه، در اکثر نقاط اسلامی معرفی شده است. مروان توانست مصر را از ابن زبیر پس بگیرد اما عمر او کفاف نداد و پس از 9 خلافت در سال 65هجری(685 میلادی) فوت کرد.
مروان برای پسرش عبدالملک بن مروان بیعت گرفت. بسیاری از مورخین عبدالملک را موسس اصلی حکومت امویان می دانند و برخی او را موسس دوم، بعد از معاویه بن ابی سفیان می خوانند. عبدالملک بعد از خلافت با سه تهدید جدی مواجه بود 1. قیام شیعیان به رهبری مختار 2. قیام خوارج خصوصا در سرزمین یمامه 3. ادعای خلافت عبدالله بن زبیر.
عبدالملک مروان با سیاستی زیرکانه توانست هر سه رقیب سیاسی خود را کنار بزند او ابتدا صبر کرد تا هر سه جناح به جان هم بیافتند و بعد از ضعیف شدن همه آنها، حملات جدی خود را آغاز کرد.
علی الجمله مقرّ مختار در کوفه بود و او می خواست محمد بن حنفیه را خلیفۀ مسلمین کند. لشگر مختار به فرماندهی ابراهیم (پسر مالک اشتر) در نبردی در نزدیکی موصل سپاه امویان را در کنار رودخانۀ خزیر شکست داد(سال 67هجری) و عبیدالله بن زیاد(فرمانده سپاه امویان) در دهم محرم در این جنگ کشته شد. و در سال 68 بین مختار و عبدالله بن زبیر جنگ در گرفت.
در سال 691 میلادی سپاه مختار در کوفه بدست زبیریان شکست خورد و مختار کشته شد. عبدالملک موقعیت را مناسب دید و عراق را به تسلط خویش درآورد و بعد حجاج بن یوسف ثقفی
عبدالملک بن مروان به خلافت امویان اعتبار بخشید. او زبان عربی را زبان رسمی و اداری حکومت اسلامی کرد و سکه های رومی و ساسانی را کنار گذاشت و سکه های جدید اسلامی ضرب کرد. او دیوان های مختلفی برای کارهای ادارای و حکومتی وضع کرد(چیزی شبیه وزارتخانه یا سازمان های امروزی)
از دیگر کارهای عمدۀ عبدالملک ساختن مسجد الصّخره یا همان بیت المقدس در اورشلیم بود. نکته این است که تکمیل این بنا در سال 692 میلادی تمام شد. و قاعدتا این بنا در طول جنگ با ابن زبیر در حال ساختن بود. بعضی از مورخین اینگونه تفسیر می کنند که عبدالملک قصد داشت بیت المقدس را جایگزین کعبه کند تا مسلمین، آنجا به زیارت بروند. چون مکه در دست عبدالله بن زبیربود.
بعد از مرگ عبدالملک، پسرش ولید بن عبدالملک به خلافت نشست (86تا 96 هجری/705تا715میلادی) ولید در کار ساختمان سازی بسیار فعال بود و از ساختن بناهای مختلف حمایت می کرد. در زمان او مسجد النبی تجدید بنا شد. و مسجد جامع اموی در دمشق ساخته شد.همچنین در زمان ولید، فتوحات اسلامی به اوج خود رسید و سرزمین های ماوراءالنهر، سند، و اندلس ، بدست مسلمانان فتح شد.
یکی دیگر از حوادث مهم در زمان عبدالملک و بعد از آن در زمان ولید، حکمرانی حاکم جباری چون حجاج بن یوسف ثقفی در عراق بود. حجاج به سختی شورش های عراق را برعلیه بنی امیه سرکوب می کرد و یکی از مهمترین قیام های عراق را به رهبری ابن اشعث شکست داد.
بعد از ولید سلیمان بن عبدالملک به سلطنت رسید 96تا 99هجری(715تا 717 میلادی) سلیمان قسطنطیه (پایتخت روم شرقی) را محاصره کرد. که به علت طولانی شدن محاصره، موفق به فتح این شهر نشد.
اما به هر حال دو دهۀ نخست قرن هشتم میلادی شاهد گسترش فتوحات اسلامی بود در غرب مسلمین به فرماندهی موسی بن نصیر و طارق بن زیاد به اندلس و قسمتهایی از فرانسه رسیدند و در سمت شرق در آسیای مرکزی و شمال هند پیشروی کردند.
سلیمان برای عمر بن عبدالعزیز بیعت گرفت و بعد از مرگ او عمر بن عبدالعزیز بن مروان، خلیفه شد. عمربن عبدالعزیز در طول دوران امپراتوریِ اموی یک شخصیت استثنایی بود و تنها خلیفۀ اموی بود که همۀ گروه ها و جناح های اسلامی او را به عنوان خلیفه قبول داشتند و نه صرفا به عنوان یک پادشاه جهان گشا.
عمر بن عبدالعزیز دشنام گفتن به امیرالمومنین علی - علیه السّلام - را در خطبه ها ممنوع کرد(کاری که در زمان امویان مرسوم بود) و فدک را به فرزندان فاطمه - سلام الله علیها- بازگرداند. او گرفتن خراج از تازه مسلمانان را ممنوع کرد و بسیاری از استانداران ظالم را عزل کرد.اما عمر خلافت او طولانی نبود و کمی بیشتر از 2 سال خلافت کرد.
بعد از عمربن عبدالعزیز دوباره خلافت به پسران عبدالملک رسید. و یزیددوم به خلافت نشست. یزید دوم دستور داد تا تماثیل و مجسمه هایی که از مسیحیان در قلمرو اسلامی موجود است منهدم کنند. همچنین او توانست قیام یزید بن مهلّب را شکست دهد. را مامور فتح مکه کرد. حجاج عبدالله بن زبیر را در مکه شکست داد و ابن زبیر در این جنگ کشته شد. عبدالملک توانست خوارج را با نیروی نظامی سرکوب کند و در نتیجه دوباره سرزمین های اسلامی را در زیر پرچم امویان متحد کرد.