沙尔克04队创建于1904年5月4日，俱乐部的所在地位于盖尔森基欣市郊区沙尔克，故此命名为沙尔克04队。 

　　沙尔克04队是在原创建于1877年的沙尔克体操俱乐部的基础上派生出来的。1904年，沙尔克足球俱乐部成立后，两个俱乐部在1919年合二而一，命名为“1904沙尔克威斯特法利亚体育俱乐部”。1924年，俱乐部解体，沙尔克04足球俱乐部成为独立的体育组织。 

　　1927年，沙尔克04队夺得鲁尔地区的足球冠军，但在全国联赛的最后一轮比赛中以1比3负于慕尼黑1860队；痛失联赛权。沙尔克04队当时引为自豪的人物是；恩斯特·库佐拉，他是沙尔克04队冲唯一的国家队队员。 

　　经过7年拼搏，沙尔克04队终于在1934年的全国联赛决赛中的最后一秒钟以2比1击败纽伦堡队，获得了历史上第一个全国冠军。在以后的1935、1937、1939、1940、1942和1958年又6夺全国冠军，1937年还捧回了足协杯。
 
　　自1963年实行甲级职业联赛以来，沙尔克04队除了1972年以5比0击败凯泽斯劳滕队夺取过一届足协杯冠军以来，不但数次与联赛冠军失之交臂，而且还三度降为乙级队，失去了昔日的光辉。
 
　　经1994-1995年赛季的财政危机之后，沙尔克04队终于在1995-1996年赛季取得了甲级联赛的第3名，获得了欧洲联盟杯的参赛权。面对国内外两条线作战，俱乐部领导层决定在保级的前提下冲击联盟杯。在荷兰籍主教练史蒂文斯的率领下，他们过关斩将，以出色的防守反击杀入决赛圈。在四分之一决赛中，他们以2比0和1比1淘汰了瓦伦西亚队；半决赛中以客场1比1和主场打延长期以2比0击败了特内里费队，最后又以防守反击战术迎战意大利劲旅国际米兰队。在主客场打成1比1的情况下，最终以点球4比1战胜了国际米兰队，在建队历史上首次捧得欧洲联盟杯，这无疑是沙尔克04队成立93年以来最辉煌的一页。
 
　　1998年，沙尔克04队在欧洲联盟杯的卫冕战中仅进入到四分之一决赛，以总比分1比2负于老对手国际米兰队。2001年，拜仁慕尼黑在最后一轮最后时刻的入球打破他们的冠军梦想，那也是沙尔克04距离冠军最近的时刻。2009/2010赛季，沙尔克04获得德甲联赛亚军，这是该队近年来在德甲联赛的最佳战绩，也因此直接晋级2010/2011赛季欧洲冠军联赛分组赛。这一赛季的欧洲冠军联赛1/4决赛中，沙尔克04以两回合7-3的悬殊比分淘汰卫冕冠军国际米兰（客场5-2，主场2-1），首次晋级欧冠四强, 四强被曼联淘汰。