Så mycket vet vi att det i forna tider troligen fanns flera mindre hamnar i området tillhörande respektive by. De grundgående långskeppen från vendel- och vikingatid kunde gå in på mycket grunda vatten, likaledes de medeltida koggarna.
En betydelsefull hamn låg norr om där hamnen ligger idag, troligen huvudhamn för Gammalsby samt Torngården som då låg nära strandlinjen. Där kunde skeppen gå in och söka skydd bakom Gammalsbyören och i dess lugna vatten kunde de ligga säkert även om vädret var oroligt.
Bland ortsbefolkningen fanns det sedan en lång tid en önskan om em riktig fiskehamn. Vattnen var fiskrika. 1917 hade länsstyrelsen i Kalmar utrett möjligheterna att öka utkomsterna för Ölänningarna. En kommitté tillsattes som skulle utreda åtgärder för att främja det öländska kustfisket. 1934 beslutade Gräsgårds kommunalstämma att de skulle stå för 10% av byggkostnaderna och hälften av fiskehamnens framtida underhåll. Dock skar det sig då Kungliga Väg- och Vattenbyggnadsstyrelsen krävde fler åtaganden, och kommunen rev då upp sitt beslut.
Nu tog flera personer tag i saken och Gräsgårds nya fiskeriförening bildades, sedemera Gräsgårds hamnförening u.p.a. Varje medlem betalade 25 kronor per andel med en förbindelse på 75 kronor, om behov skulle uppstå. Anläggningskostnaden beräknades till 65 000 kronor och 58 500 kronor erhölls och resterande 6 500 kronor betalades av föreningen. Stadgarna registrerades hos länsstyrelsen den 4 februari 1935. Styrelsen bestod av Carl T. Nilsson, Axel Ramberg, Oskar Johansson, Ragnar Nilsson Mellborg och Sven Åsenius.
1936 stod hamnen färdig till glädje för fiskarna i trakten. Underhållet har under åren erhållits från hushållningssällskapet, kommunen, staten, bensinskattemedel m.m.
1955 byggdes en tångfångare för 125 000 kronor, och kort därefter fick hamnen gatubelysning. 1978 byggdes en ny småbåtsbrygga och en ny stor brygga, som var nödvändig för fiskets behov.
1959 togs det in 840 000 kilo torsk i hamnen. En filéfabrik startades i de gamla mejerilokalerna i Torngård som gav jobb upp till 15 personer.
På 90-talet uppgav hamntillsyningsmannen Stig Svensson att 12 till 14 båtar bedrev fiske i hamnen, och fiskare från Sundsvall, Härnösand, Skanör och Oskarshamn använder hamnen.
Idag har yrkesfisket upphört och föreningen jobbar med att ta fram en långsiktig vision och plan om hur hamnen ska kunna utvecklas i framtiden.