Klub je osnovan 1970., a za njegovo osnivanje najzaslužniji su Miroljub Popović, tadašnji direktor Kadrovskog sektora Kombinata Borivoje Jovanović, Herbert Forster i Božidar Marović.

Prvi predsednik i trener Rudara je bio Miroljub Popović - Cicko, nekadašnji rukometaš i osnivač kluba. Klub je takmičenje počeo od najnižeg ranga, Regionalne lige Smederevo, pa je preko Druge i Prve srpske lige, stigao 1988. do Druge savezne lige Jugoslavije, gde se takmičio do 1993.

Uz finansijsku pomoć IEK-a „Kostolac“, Rudar IEK Kostolac u sezoni 1993/94. osvaja prvo mesto u Drugoj saveznoj ligi i ulazi u Prvu saveznu B ligu, drugi rang takmičenja.

Rudar se nakon reorganizacije lige u sezoni 1999/00. takmičio u Drugoj saveznoj ligi, a u narednim godinama Rudar je stigao i do Superlige.

Potom je više sezona ponovo igrao u drugom rangu, Prvoj ligi, pre nego što se u sezoni 2010/11. kao prvak Prve lige plasirao u Superligu Srbije, gde se trenutno takmiči.