Komence keltoj vivis tie, poste la romianoj havis tie tre gravan urbon nomatan Colonia Flavia Sirmium. Post disvolviĝo de la kristanismo la urbo iĝis episkopejo. En la 5-a jarcento la hunoj konkeris la urbon, poste alvenis diversaj nomadaj triboj. En 582 la avaroj plene detruis la urbon, poste la bulgaroj refondis la episkopejon. Hungaroj alvenis en 896 kaj la urbo apartenis foje al hungaroj, foje al Bizanco. En 1180 la bizancanoj foriris, la hungaroj konstruis fortikaĵon el la abatejo. En la 1520-aj jaroj la turkoj konkeris la urbon, la hungaroj rifuĝis, serboj alvenis. Post la turkoj la urbo estis parto de limgarda zono de Habsburga Imperio. Ĝis fine de la 1-a mondmilito la urbo estis distriktejo de distrikto Mitrovica en Szerém. Poste la urbo apartenis al Reĝlando de serboj, kroatoj kaj slovenoj, depost 1928 al Jugoslavio, ekde 2006 kiel Serbio. Inter 1941-1945 la urbo apartenis al tiam sendependa Kroatio. En 2002 loĝis en Sremska Mitrovica 39094 da homoj, (serboj 31127 (80 %), kroatoj 2130 (5 %), jugoslavianoj 961 (3 %), rutenoj 620, hungaroj 524 (1 %) kaj aliaj).