Skała z latarnią w Castlepoint to nie jedyny popularny widok do sfotografowania tam; drugim przykuwającym wzrok miejscem jest Castle Rock: stupíęćdzięsięciometrowe wzgórze, a właściwie jego resztki. Z lądem łączy je krótki, wysunięty w morze grzbiet wystrzelający nagle w górę stromym trawiastym stokiem, po czym spadający jeszcze ostrzej, pionowym urwiskiem prosto w huczące fale Pacyfiku.
Castle Rock jest najwyższym punktem wynurzającej się z oceanu grzędy skalnej i jej drugim końcem, przeciwnym do tego, na którym stoi latarnia. Cała ta dwukilometrowej długości formacja, o bardzo zmiennej wysokości i poprzerywana w kilku miejscach niszczącymi siłami wody, nazywana jest Castlepoint Reef.
Geologicznie miejsce to jest aktywnym uskokiem tektonicznym; szybciej się wypiętrza, niż jest niszczone przez ocean. Jest też rafą w sensie skały przybrzeżnej, jednak nie koralową. Dominującymi utworami są młode, dwumilionoletnie zlepieńce muszlowe (ang. coquina, shell limestone) o genezie podobnej do wapieni, ale nie posiadające ich jednorodnej tekstury. W licznych ich odsłonach możemy dostrzec, że składają się niemal wyłącznie z fragmentów lub całych muszli różnych wielkości. Są też słabo scementowane.