Für die endgültige Festsetzung hat das Jobcenter ein Jahr nach Beendigung des Bewilligungszeitraums Zeit. Für "normale" Aufhebungen wie z. B. bei einem Hausgeldguthaben ein Jahr ab Bekanntwerden aller relevanten Umstände. Es kann also sein, dass für einen Großteil deiner Zeiträume eine Forderung durch das Jobcenter nicht mehr möglich ist.
Wenn doch noch was kommt, solltest du das dann anwaltlich prüfen lassen.