Legenda mówi, że ongiś diabeł chcąc zniszczyć jeden z obiektów sakralnych stojących na tym terenie pochwycił głaz i leciał z nim do celu. W czarciego diabła uderzył w drodze Jasny Grom i diabeł kamień z rąk wypuścił. Gdy próbował ponownie podnieść kamień zaświeciło słońce, przed promieniami którego diabeł ukrył się wewnątrz kamienia dostając się tam poprzez otwór, który miejscowy duchowny wbił żelazny krzyż. Prawdopodobnie we wnętrzu kamienia diabeł siedzi po dziś dzień.
Kamień opisany legendą jest jednym z największych głazów narzutowych na Kaszubach. Obwód kamienia wynosi ponad 13 metrów, a jego wysokość ponad 2 metry.
Nieopodal Diabelskiego Kamienia przebiegała niegdyś wąskotorowa linia przemysłowa zdemontowana w latach 70tych.