Pirttisaari sai asukkaansa 1700-luvulla suurelta osin Virosta. He olivat kalastajia, jotka tulivat avomerikalastusseura ”Saltsjö Fiskeri Societeten i Nyland’in” palvelukseen. Seuran kalastussatama oli Hamnholmenilla, josta asutus levisi Pirttisaareen. Vuoden 1787 katselmuksen mukaan Pirttisaarella, Bastulandetilla ja Bodöllä asui ainakin 11 virolaista perhettä.
Kalastus on ollut Pirttisaaren elinkeinoelämän perusta, mutta merkittävää osaa ovat näytelleet myös viranomaistoiminnot. Luotsaus oli vanhastaan kalastajien velvollisuus ja luotsit hoitivat myös tullausta. Tullaus erotettiin luotsauksesta vuonna 1838 ja Pirttisaaren Svartvikeniin perustettiin tulliasema ja vuonna 1930 myös merivartioasema, joka siirrettiin mantereelle vasta 2010.
Artikkelin kuvassa Svartvikenin tulliasema 1930-luvulla. Vasemmalla takavarikoituja salakuljettajien veneitä. Takavarikoidut veneet koottiin yhteen ja kuljetettiin Helsinkiin huutokaupattavaksi.
Yllättävää kyllä venäläisten sotilaiden vaikutus saaren elinkeinoelämään oli positiivinen. Viime vuosisadan alussa sortokauden aikana luotsit kieltäytyivät paikoin yhteistoiminnasta venäläisten viranomaisten kanssa. Seurauksena oli, että Pirttisaareen saapui venäläistä meriväkeä hoitamaan luotsausta. Siitä taas seurasi, että luotsi Frans Jonasson vaihtoi ammattia ja perusti vuonna 1912 veneveistämön ja telakan. Toiminta Jonassonin telakalla jatkuu edelleen.
Suomalainen sotaväki saapui saarelle ennen toista maailmansotaa. Vuonna 1939 käynnistettiin 152 Canet-patterin rakennustyöt Pirttisaareen. Patteri oli ampumavalmiina juuri ennen talvisotaa 18.10.1939 ja sen tehtävänä oli suojata Porvooseen johtavia väyliä.Sotien aikana patteri ei joutunut taisteluun. Nykytekniikka siirsi kiinteät rannikkolinnakkeet historiaan ja puolustusvoimat luopui Pirttisaaren linnakkeesta vuonna 2009. Nykyisin linnakkeen alue on metsähallituksen ja Uudenmaan Virkistysalueyhdistyksen hallinnassa, mutta 1950-luvulla modernisoidut ja 1960-luvulla napalmkatteen saaneet tykit ovat edelleen paikallaan retkeilijöiden hämmästeltävinä.
Saaren etelärannalla ylhäällä Korsbergetin kalliolla on 1800-luvulta peräisin oleva puuristi. Se on pystytetty kalastajanpoika Isak Lillebergin muistoksi. 20.11.1838 Isakin ollessa 18-viotias hän oli lähtenyt hakemaan ulkosaaresta lampaita kotiin. Puhkesi myrsky ja Isak hukkui. Tarinan mukaan Isakin äiti Anna oli nähnyt unen, jossa Isak oli kertonut, ettei olisi hukkunut elleivät hylkeennahkatossujen remmit olisi kiertyneet hänen jalkojensa ympärille. Kun ruumis muutaman päivän jälkeen löydettiin, olivat remmit tosiaan sitoneet sen jalat.