Kragerø by er havneby og ligger sentralt i Kragerø kommune. Fra bryggekanten ser man rett ut i Kragerøskjærgården som strekker seg ut til Jomfruland. Fv38 går fra E18 til sentrum og fergehavnen som knytter øyene til byen. Kragerø by er en sjarmerende sørlandsby med klassisk trehusbebyggelse og trange gater. Byen har godt utvalg av butikker og uteliv. Spesielt i sommerhalvåret er aktiviteten høy.
Det er noe boliger i og tett på sentrum, men boligutviklingen skjer i hovedsak i tilstøtende områder. Arealutfordringen gjør at fremtidig utvikling av Kragerø sentrum vil gå nordover i retning Stilnestangen hvor det er god plass til ny utvikling.