4 maja 1904 roku grupa 14-15 młodych chłopaków założyła zespół piłkarski o nazwie Westfalia Schalke. W 1912 roku klub połczył się z towarzystwem gimnastycznym (Turnverein 1877 Schalke). To umożliwiło nadanie klubowi oficjalny status. Jednak w 1924 doszło do ostatecznej rozłąki. Nastąpiła również zmiana nazwy drużyny na FC Schalke 04. Zmianie uległy również barwy klubowe z czerwonych na niebiesko-białe.

Mijały sezony, a Schalke stawało się coraz silniejsze i popularniejsze, najpierw na zachodzie kraju, a następnie w całych Niemczech. W latach 1933-42 "Königsblauen" (również tak nazywano graczy Schalke) dotarli dziewięciokrotnie do finału mistrzostw Niemiec. W 1933 jedenastka bohaterów tego tekstu musiała uznać wyższość Fortuny Düsseldorf, przegrywając 0:3. Rok później w Gelsenkirchen świętowano zdobycie pierwszego mistrzostwa Niemiec (2:1 z 1.FC Nürnberg).

W 1935 sukces został powtórzony po hokejowym zwycięstwie 6:4 z VfB Stuttgart. Na następny tytuł nie trzeba było długo czekac, bo już w 1937, po wygranym meczu 2:0 z Nürnberg, trofeum to znów zawitało do Gelsenkirchen. W 1939 oprócz kolejnego mistrzostwa kraju Schalke zanotowało najwyższą w swej historii wygraną nad Admirą Wiedeń 9:0. Do klubowej gabloty wpadły jeszcze dwa tytuły (1940 oraz 1942). Tak się zakończył pewien okres w historii Schalke. Okres triumfów i radości.

Po wojnie nastąpiły cięższe czasy. Schalke nie grało już tak jak w latach swojej świetności. Jedyne powojenne i ostatnie jak dotąd mistrzostwo było dziełem jedenastki prowadzonej przez Edi Frühwirtha. Miało to miejsce w 1958 roku po wygranej 3:0 z Hamburger SV. 

1963 rok to rok zalożenia Bundesligi. Oczywiście Schalke nie zabrakło w grupie 16 klubów tworzących lig w Niemczech. Początki dla "Biało-niebieskich" był ciężkie. Drużyna okupowała dolne rejony tabeli. w sezonie 1964/65 Schalke było już prawie w drugiej lidze, gdyż zajęło miejsce spadkowe w tabeli końcowej. Jednak szczęśliwym losem 1.Bundesligi postanowiono powiększyć do 18 zespołów i zespół pozostał wśród najlepszych.

Koniec lat sześdziesiątych to zdecydowanie lepsze czasy dla drużyny. Gra opierała się na legendarnym Reinhardzie Libudzie, znanego pod pseudonimem "Stan". Starsi kibice pamiętają jego znakomite dryblingi. W 1972 roku gablota Schalke 04 wzbogaciła się o kolejne trofeum - był to drugi w historii (wcześniej w 1937) puchar Niemiec. W finałowym pojedynku wyższość Schalke musiała uznać ekipa 1.FC Kaiserslautern, ulegając 0:5. Trenerem zespołu był Ivica Horvat. W lidze Schalke zajęło drugą pozycję. W sezonie 1970/71 miał miejsce skandal związany z przekładaniem meczów w Bundeslidze. Wicemistrzostwo zdobyte w roku 1977 było ostatnim osiągnięciem przed okresem nieurodzaju Schalke.

Rozpoczą się marsz w dół. W latach osiemdziesiętych klub trzykrotnie spadał do II ligi (1981, 83, 88). Dwukrotnie udało się powrócić do elity, jednak za trzecim razem drużyna z tradycjami musiała trzy sezony występować na zapleczu 1.Bundesligi. Mimo tego Schalke 04 pozostawało jednym z najpopularniejszych klubów w Niemczech, notując niejednokrotnie wyższą frekwencję na oddanym do użytku w 1973 roku Parkstadionie od klubów pierwszoligowych.

Lojalność kibiców została wynagrodzona. W 1991 Schalke znów powróciło do elity. W sezonie 1993/94 "biało-niebiescy" ponownie bronili się przed spadkiem, by w 1996 roku, po 19 latach, awansowa? do europejskich pucharów. W rozgrywkach europejskich Schalke nie miało sobie równych, kolejno eliminując Rodę Kerkrade, Trabzonspor, FC Brugge, CF Valencię, CD Teneriffę i pokonując w finałowym dwumeczu słynny Inter Mediolan. Bohaterem decydujących potyczek okrzyknięto Marca Wilmotsa, który zapewnił zwycięstwo Schalke na Parkstadion i wykorzystał decydujący rzut karny na San Siro. Puchar UEFA stł? się jedynym jak dotąd sukcesem klubu wywalczonym na niwie europejskiej. Drużynę prowadził wówczas belgijski trener - Huub Stevens.

W 1998 roku ruszyły prace budowlane nowego stadionu dla Schalke 04 - Areny auf Schalke. Wielofunkcyjne, wyposażony w ponad 60000 krzesełek obiekt wybudowano w 32 miesiące. Zastosowano bardzo kosztowne unowocześnienia takie jak: chowana murawa, wysuwany dach, przesuwana trybuna południowa oraz efektowne i komfortowe dla kibiców przed telewizorami ujęcia kamer. Stadion kosztował 191 milionów euro i został sfinansowany wyłącznie przez prywatnych przedsiębiorców. Uchodzi obecnie za najnowocześniejszy stadion piłkarski w Europie.

Od niedawna Schalke znów zaczęło się liczyć w niemieckiej lidze. Pamiętne jest zwłaszcza "przegrane" mistrzostwo na rzecz Bayernu Monachiumm który dzięki ogomnemu szczęściu i bramce w 94 minucie meczu z Hamburger SV, która dała remis Bawarczykom, wyprzedzi? "Knappen" w klasyfikacji końcowej. Drugie miejsce dało miejsce w Lidze Mistrzów. Oprócz tego Schalke znów sięgnęło po puchar Niemiec (w 2001 roku pokona?o we finale 1.FC Union Berlin 2:0). Puchar został obroniony rok później po ciekawym spotkaniu z Bayerem Leverkusen (4:2).

Schalke 04 jest bardzo popularnym klubem, czego dowodzi choćby ilość kibiców zasiadających na Veltins Arena. Od 13 sierpnia 2001 (poświęcenie areny) stadion jest prawie zawsze wypełniany po brzegi.