V južnem pobočju strmega hriba, pod Starim gradom, se nahajajo ostanki edinstvenega kamnoloma mlinskih kamnov.
Kamnolom se omenja že sredi 16. stoletja, možno pa je, da izvira še iz rimskih časov. Ostanki kamnoloma mlinskih kamnov ležijo ob dobro označeni Ostrovrharjevi poti. Do kamnoloma je možno priti z vznožja hriba (ob potoku Besnica) ali pa z vrha Starega gradu, navzdol po označeni poti. V nekaj navpičnih pečinah iz drobno zrnatega kremenovega peščenjaka so dobro vidni sledovi izsekavanja surovih kamnitih kolutov premera okoli enega metra in debeline četrt metra. Ko so kamnarji grob kamen odlomili iz stene so ga spravljali v dolino, v tako imenovano Knapovsko drago. Tam so mlinske kamne dokončali in prodajali po vsej Kranjski in tudi v sosednje dežele. Tekom zgodovine so jih izdelali več tisoč, zato jih še danes pogosto vidimo pri starih mlinih.
Podgrajski mlinski kamni spadajo med »črne mlinske kamne«, namenjene mletju zrnja za navadno moko (za črn kruh). Vsak mlin je moral imeti vsaj en par kamnov: zgornji kamen je miroval, spodnji pa se je vrtel. Skozi luknjo na sredini zgornjega kamna se je vsipalo zrnje, moka pa je iztekala skozi režo na obodu kamna v lesen zaboj z odprtino za vrečo.
Območje kamnoloma je od leta 2006 z odlokom Mestne občine Ljubljana razglašen za kulturni spomenik lokalnega pomena. Obenem je Podgrajski kamnolom mlinskih kamnov uvrščen tudi v Evropski kataster kamnolomov mlinskih kamnov. V Sloveniji je to največji in najlepše ohranjen tovrstni kamnolom.
Pri obisku kamnoloma svetujemo previdnost, saj je dostop do kamnoloma precej strm in drseč. Priporočamo uporabo pohodnih palic.
Nekdaj so bili žitni mlini na vsakem potoku, skoraj pri vsaki večji kmetiji. Bili so na vseh treh podgrajskih potokih, v vsej Besniški dolini jih je bilo vsaj sedem.