قبيل معركة القادسية طلب قائد الجيش سعد بن أبي وقاص مددًا من أمير المؤمنين عمر بن الخطاب ليستعين به على حرب الفرس، فأرسل أمير المؤمنين إلى سعد رجلين فقط، هما: عمرو بن معد يكرب، وطليحة بن خويلد، وقال في رسالته لسعد: إني أمددتك بألفي رجل.
وعندما بدأ القتال ألقى عمرو بنفسه بين صفوف الأعداء يضرب فيهم يمينًا ويسارًا، فلما رآه المسلمون؛ هجموا خلفه يحصدون رؤوس الفرس حصدًا، وأثناء القتال وقف عمرو وسط الجند يشجعهم على القتال قائلاً: يا معشر المهاجرين كونوا أسودًا أشدَّاء، فإن الفارس إذا ألقى رمحه يئس. فلما رآه أحد قواد الفرس يشجع أصحابه رماه بنبل، فأصابت قوسه ولم تصبه، فهجم عليه عمرو فطعنه، ثم أخذه بين صفوف المسلمين، واحتز رأسه، وقال للمسلمين: اصنعوا هكذا. وظل يقاتل حتى أتمَّ الله النصر للمسلمين. الطبراني.
وفي معركة نهاوند، استعصى فتح نهاوند على المسلمين، فأرسل عمر بن الخطاب إلى النعمان بن مقرن قائد الجيش قائلاً: اسْتَشِر واستعن في حربك بطليحة وعمرو بن معد يكرب، وشاورهما في الحرب، ولا تولِّهما من الأمر شيءًا، فإن كل صانع هو أعلم بصناعته. وقاتل عمرو في هذه المعركة أشدَّ قتال حتى كثرت جراحه، وفتح الله على المسلمين نهاوند، وظفر عمرو في تلك المعركة بالشهادة، ودفن بحي من أحياء حمص له بابان مطلان على المدينة فسمي الحي باسمه "باباعمرو"