Die Burg am Zusammenfluss von Nemunas (der Memel) und Neris wurde im 14. Jahrhundert erbaut, um sich besser gegen Angriffe der Kreuzritter verteidigen zu können. Es ist nicht nur die älteste Steinburg Litauens, sondern auch die einzige, die zwei Reihen Wehrmauer hatte. Um den gotischen Bau herum entstand eine Siedlung, die später zur Stadt wurde. Legenden erzählen, dass die gesamte Armee der Königin Bona Sforza unter die Burg untergegangen wäre. Urkundlich wurde die Befestigungsanlage zum ersten Mal 1361 erwähnt. Einige Male zerstört und wiederaufgebaut, verlor sie 1408 an Bedeutung. In jenem Jahr erhielt nämlich Kaunas die Magdeburger Stadtrechte, und zum Mittelpunkt des Stadtlebens wurde ehemaliger Marktplatz (heute: Rathausplatz). Im 16. Jahrhundert diente die Burg als Gefängnis. Unruhige Seelen der Gefangenen sollen hier noch bis heute nachts spuken. Zur Zeit ist in den Räumlichkeiten der Burg Zweigstelle des Stadtmuseums Kaunas untergebracht. Auf dem Gelände finden jährlich unterschiedliche Kulturveranstaltungen statt.
In der Nähe der Burg befindet sich Park des Zusammenflusses (auf Litauisch: Santakos). An dieser Stelle treffen sich zwei größte Flüsse Litauens: Neris mündet in die Memel ein. Auch andere sehenswerte Objekte gibt es hier zu besichtigen: heidnischer Opferaltar, Papstberg (an dieser Stelle hielt 1993 Papst Johannes Paul II. Messe, 2018 - Papst Franziskus), Statue des Papstes Johannes Paul II., Kirche des Heiligen Georgs und Bernhardinerkloster.
2018 wurde an der Burg die Skulptur eines litauischen Reiters Vytis "Krieger des Friedens" eingeweiht. Ihre Autoren: Bildhauer Arūnas Sakalauskas und Künstler aus der Ukraine Boris Krylov und Oles Sidoruk.