Mithilfe von archäologischen Quellen lässt sich die Ohlendorfer Geschichte über die Ersterwähnung hinaus weiter zurückverfolgen: 1955 wurden nordöstlich von Ohlendorf Keramikscherben gefunden, die darauf hindeuten, dass sich dort bereits im 4./5. Jahrhundert eine kleine Siedlung befunden hat.
Eine erste genauere Beschreibung von Ohlendorf enthält das Erbregister des Amtes Schladen aus dem Jahr 1567. In dem Dorf lebten sieben Ackerleute, die über größeren Grundbesitz verfügten und 24 Kotsassen, denen kleinere Flächen zur Bewirtschaftung zur Verfügung standen.
Im 19. Jahrhundert lösten sich die politischen Zugehörigkeiten im Süden der heutigen Stadt Salzgitter gleich mehrmals ab: anfangs war Ohlendorf noch hildesheimisch, dann preußisch, es gehörte dem von Kaiser Napoleon Bonapart Anfang des Jahrhunderts geschaffenen Königreich Westphalen an, war anschließend bis 1866 hannoversch und schließlich wieder ein Teil Preußens.
Für die Einwohnerinnen und Einwohner haben die Veränderungen bei der politischen Zugehörigkeit vermutlich keine größere Rolle im Alltag gespielt. Ein sehr bedeutendes Ereignis dürfte hingegen die Einweihung der 1870/71 neu erbauten Kirche gewesen sein. Über die Verteilung der Kosten auf die Gemeindemitglieder zur Finanzierung des von dem bedeutenden Architekten Conrad Wilhelm Hase entworfenen Neubaus war einige Jahre diskutiert worden.
Ohlendorf veränderte sich im Gegensatz zu anderen Orten auf dem Gebiet der heutigen Stadt Salzgitter mit dem Aufbau der Reichswerke nicht einschneidend. Zwar wurden auf der Gemarkung eine Schachtanlage und ein Lager errichtet, in dem Kriegsgefangene, die zur Zwangsarbeit verpflichtet wurden, untergebracht waren, aber das Dorf mit seinen landwirtschaftlichen Betrieben blieb in der Grundsubstanz doch erhalten.
Heute erinnert lediglich noch die 1956/57 errichtete Bergmannssiedlung an der Straße nach Gielde an die Zeit der Erzförderung. Der letzte Erzzug hatte den Schacht Ohlendorf am 20. April 1966 verlassen.
Auch wenn sich die Infrastruktur in dem am südöstlichen Rand der Stadt liegenden Stadtteil in der zweiten Hälfte des 20. Jahrhunderts durch die Schließung von Lebensmittelgeschäft, Bäcker, Fleischer und Bank schrittweise reduzierte, so gibt es bis heute sehr aktive Vereine, die das gesellschaftliche Miteinander prägen. Der TSV Ohlendorf von 1924 und die Freiwillige Feuerwehr von Ohlendorf haben die meisten Mitglieder.
