Siyasi kariyeri boyunca Cumhuriyet Halk Partisi çatısı altında çeşitli görevler üstlenen Ağaryılmaz, daha önce de partisinden ayrılarak farklı bir siyasi oluşumda görev almıştı. Ağaryılmaz, CHP’den ayrıldığı dönemde Mustafa Sarıgül tarafından kurulan Türkiye Değişim Partisi’ne katılmış ve burada Genel Başkan Yardımcılığı görevini yürütmüştü. TDP’nin siyasi faaliyetlerini sonlandırmasının ardından yeniden CHP’ye dönen Ağaryılmaz, bir süre sonra tekrar CHP üyeliğinden ayrıldı. CHP’den istifasını gerçekleştiren Ağaryılmaz’ın bundan sonraki süreçte siyasi çalışmalarına hangi yönde devam edeceği ise merak konusu oldu.