Em 10 de março de 1925, o Olympiakos foi formado a partir da fusão de dois outros clubes e desde então se tornou o time de maior sucesso da Grécia, com um recorde de 44 títulos da liga.
Os dois clubes anteriores, ambos sediados no Pireu, foram dissolvidos para criar um clube unificado para a região, que recebeu o nome de Olympiacos Syndesmos Filathlon Piraios (“Fã Clube do Olympiacos Piraeus”) e adotou o vermelho e o branco como cores.
A primeira liga nacional da Grécia começou a competir na temporada 1927-28, e o Olympiakos rapidamente se tornou o clube dominante do país, conquistando seu primeiro título em 1931 e conquistando mais cinco nas sete temporadas seguintes. Eles ganharam vários títulos em cada década, incluindo uma sequência impressionante que começou em 1997, e desde então venceram todos os campeonatos, exceto dois (terminaram como vice-campeões em 2004 e 2010). Eles também ganharam um recorde de 27 Copas da Grécia.
Eles têm uma forte rivalidade com o Panathinaikos, conhecido como o “Derby dos Inimigos Eternos”. O Olympiakos levou a melhor, vencendo 80 jogos contra 50 do Panathinaikos, com 67 empates.
