2004 - 2008

In het volgende seizoen verliep het de Kanaries een stuk minder goed (13de plaats). In 2004 keerde Marc Wilmots naar Stayen terug. STVV kreeg bijna een volledig nieuw gelaat. Dat bleek een foute zet te zijn. Na de winterstop nam het trio Mangelschots-Raymaekers-Voets over. STVV kroop moeizaam uit de degradatiezone en eindigde op de 14de plaats.

Herman Vermeulen kreeg de taak om STVV dit seizoen weer naar veiligere wateren te leiden. STVV brak de Stayen-ban tegen Racing Genk en kegelde de gouwgenoten uit de beker van België. Veel andere hoogtepunten vielen er in de eerste ronde niet te beleven. STVV haalde zwaar uit bij revelatie Zulte Waregem (1-5), maar liet te vaak de punten liggen in de andere wedstrijden.

Op 9 januari 2006 kwam er een vroegtijdig einde aan de samenwerking met trainer Herman Vermeulen. STVV werd een dag voordien uitgeschakeld in de kwartfinale van de beker van België, en stond op de ranglijst voorlaatste, met 18 punten uit 21 wedstrijden. STVV sloot dat seizoen af op de vijftiende plaats.

In het seizoen 2007-2008 wist STVV het hoofd niet boven water te houden. De Kanaries sloten het seizoen af op de zeventiende plaats.