Så mycket vet vi att det i forna tider troligen fanns flera mindre hamnar i området tillhörande respektive by. De grundgående långskeppen från vendel- och vikingatid kunde gå in på mycket grunda vatten, likaledes de medeltida koggarna.
En betydelsefull hamn låg norr om där hamnen ligger idag, troligen huvudhamn för Gammalsby samt Torngården som då låg nära strandlinjen. Där kunde skeppen gå in och söka skydd bakom Gammalsbyören och i dess lugna vatten kunde de ligga säkert även om vädret var oroligt.
Även Mellstaby och Gräsgårds kyrkby söderut hade sina egna hamnar.
Bland ortsbefolkningen fanns det sedan en lång tid en önskan om en riktig fiskehamn. Vattnen var fiskrika. 1917 hade länsstyrelsen i Kalmar utrett möjligheterna att öka utkomsterna för Ölänningarna. En kommitté tillsattes som skulle utreda åtgärder för att främja det öländska kustfisket. 1934 beslutade Gräsgårds kommunalstämma att de skulle stå för 10% av byggkostnaderna och hälften av fiskehamnens framtida underhåll. Dock skar det sig då Kungliga Väg- och Vattenbyggnadsstyrelsen krävde fler åtaganden, och kommunen rev då upp sitt beslut.
Nu tog flera personer tag i saken och Gräsgårds nya fiskeriförening bildades, sedemera Gräsgårds hamnförening u.p.a. Varje medlem betalade 25 kronor per andel med en förbindelse på 75 kronor, om behov skulle uppstå. Anläggningskostnaden beräknades till 65 000 kronor och 58 500 kronor erhölls och resterande 6 500 kronor betalades av föreningen. Stadgarna registrerades hos länsstyrelsen den 4 februari 1935. Styrelsen bestod av Carl T. Nilsson, Axel Ramberg, Oskar Johansson, Ragnar Nilsson Mellborg och Sven Åsenius.
1936 stod hamnen färdig till glädje för fiskarna i trakten. Underhållet har under åren erhållits från hushållningssällskapet, kommunen, staten, bensinskattemedel m.m.
1955 byggdes en tångfångare för 125 000 kronor, och kort därefter fick hamnen gatubelysning. 1978 byggdes en ny småbåtsbrygga och en ny stor brygga, som var nödvändig för fiskets behov.
1959 togs det in 840 000 kilo torsk i hamnen. En filéfabrik startades i de gamla mejerilokalerna i Torngård som gav jobb upp till 15 personer.
På 90-talet uppgav hamntillsyningsmannen Stig Svensson att 12 till 14 båtar bedrev fiske i hamnen, och fiskare från Sundsvall, Härnösand, Skanör och Oskarshamn använder hamnen.
Idag har yrkesfisket upphört och föreningen jobbar med att ta fram en långsiktig vision och plan om hur hamnen ska kunna utvecklas i framtiden.
Under 1800-talet användes en naturhamn som låg utanför Gräsgårds kyrkby som landningsplats för de båtar och fartyg som anlöpte kusten på sydöstra Öland. Hamnen hade stor betydelse för både fiske och handel. Båtar från Tyskland med uppköpare av ål använde hamnen in på 1900-talet.
Reven och grunden utanför Gräsgård och Össby har i århundraden utgjort en fara för sjöfarare. Många skepp och båtar har strandat eller förlist längs kusten. De många förlisningarna gjorde att Lifräddningsväsendet, senare Lotsverket, i mitten av 1800-talet valde att etablera två livräddningsstationer på södra Öland. Den ena förlades till Gräsgård och den andra till Grönhögen. 1860 togs stationen i Gräsgård i bruk. Bemanningen av livräddningsbåten utgjordes av en befälhavare, en styrman och tio roddare. Båten som användes hade två master och var flatbottnad utan köl. Under de 80 år som båten användes fram till 1940 räddades åtskilliga liv vid de talrika räddningsaktioner som genomfördes. 1941 fick räddningsstationen en motordriven båt som användes fram till 1961, då stationen i Gräsgårds hamn lades ner.
Befälhavaren vid livräddningsstationen i Gräsgård bodde i slutet av 1800-talet i Gammalsby och det påstås att han lyckades övertala Lotsverket att flytta livräddningsbåten till stranden nedanför Gammalsby, då han tyckte det var för långt att vid varje utryckning behöva gå till stationen som låg utanför Gräsgårds kyrkby. Flyttningen visade sig dock bli en felsatsning då is, vattendjup och uppgrundning orsakade bekymmer som inte funnits på den förra platsen. Under århundraden har 1000-tals fartyg förlist runt Öland och många av dem ligger nu som vrak på botten utanför Ölands östra kust.
I Franck Anderssons bok Strandningar på ölandskusten från 1923, får man en tankeväckande och hårresande beskrivning av några av de katastrofer som ägt rum till havs under stormiga vintermånader i slutet av 1800- och början av 1900-talet - som stenkolslastade engelska ångaren ALBANIAs fruktansvärda undergång på Össby grund 24 oktober 1890 eller när sliperlastade tyska ångaren ATLE JARL fick slagsida och sjönk 20 november 1919, när kustvakten vid Gräsgårds kustposteringsdistrikt, Gustav Söderlund, drogs ner i djupet och drunknade i ett försök att rädda den utanför Enetri, på annandag jul 1888, strandade ångaren MIRANDA eller när slätskonaren från Karlskrona omkring 1840 i isande snöstorm gick på grund på Gammalsbyör och hur man, när räddningsmanskapet från Mellstaby till sist vågade sig ut till haveristen, hittade tre nedisade besättningsmän ihjälfrusna i riggen. Tillsammans med en fjärde besättningsman begravdes de i en gemensam grav på Gräsgårds kyrkogård. Berättelserna i sin helhet finns att läsa i pärmen på museet i Gräsgårds hamn.
Wartburgspärren var tre mineringar som 1941 lades ut i ett område mellan den baltiska kusten och Öland-Gotland. Den bestod av cirka 1150 minor och 1800 svephinder. Spärren omfattade tre mineringar benämnda som "Wartburg I-III". På uppmaning av Tyskland lade Sverige ut en minering i sina vatten, nordöst om Öland, den 28 juni 1941. Mineringen bestod av två linjer och en särränna och var tydligt markerad via radio och sjöfartsmeddelanden. Det svenska minfartyget Sandön övervakade området och assisterade eskortering av fartyg genom rännan. Den 7 juli beordrades de tyska fartygen att återvända till sin bas i Świnoujście. Trots varningssignaler från Sandön seglade fartygen rakt in i den svenska minspärren strax utanför Össby. Samtliga tre fartyg exploderade och sjönk under dramatiska omständigheter: Preussen detonerade vid 18:10, Tannenberg vid 18:58, och Hansestadt Danzig brann och drev innan hon förliste. För att undersöka möjligheten att bärga vraken beslutades att den Svenska minlinjen skulle flyttas norrut till Gräsgård som minolyckan på Hjälpvedettbåten 282 Libanon (se länk) inträffade. Vraken undersöktes men man fann att skadorna var för stora för att bärga vraken. 1952 gjordes en ny sprängning av vraken och man bärgade skrotet in i Gräsgårds Hamn.