Zamek, a właściwie jego ruiny, znajdują się na zalesionym wzgórzu, stromo opadającym w kierunku rzeki Poprad. Zbudowano go w XIII wieku, jednak nie jest znany inicjator budowy. Jest przykładem zamku typu wyżynnego bergfridowego, w którym budynek mieszkalny lokuje się w najbardziej niedostępnym miejscu. Dojścia do niego od czoła broni masywna wieża. Usytuowany na szczycie wzniesienia zamek właściwy wzniesiono na planie nieregularnego pięcioboku. Dziedziniec otoczono z trzech stron murami biegnącymi po krawędzi szczytu, a z czwartej obwód zamykał prostokątny dwudzielny budynek mieszkalny. Do muru zachodniego przylegała zbudowana z piaskowca, niezwykle masywna wieża, w której grubość murów sięgała 3 metrów. Od strony północnej, na łagodnym obniżeniu wzgórza usytuowano przygródek otoczony wałem ziemnym.
Zamek był własnością królewską, dzierżawili go włodarze tamtejszych ziem. Pełnił funkcje reprezentacyjne i ochronne. Był strażnicą przy komorze celnej nad Popradem. Do połowy XVI wieku zamek był stopniowo rozbudowywany i przebudowywany. Po koniec XVI wieku został poważnie zniszczony. Zdewastowany w czasie potopu szwedzkiego przez wojska Jerzego II Rakoczego i opuszczony popadał w ruinę. Nie pomogły mu również prowadzone w latach siedemdziesiątych XX wieku prace archeologiczne i nieudolne prace konserwacyjne. Do chwili obecnej z zamku zachowała się wieża, resztki murów i fragmenty budynku mieszkalnego. Ze wzgórza roztacza się piękna panorama Kotliny Sądeckiej, doliny Popradu i okolicznych wzniesień.
Z zamkiem, jak z innymi tego typu budowlami wiąże się kilka legend, opisano je na stronie Zamki Polskie.
Dojazd
Jadąc drogą nr 87 z Nowego Sącza do Piwnicznej wjeżdżamy do miejscowości Rytro. Patrząc w lewo zauważymy górujący nad okolicą zamek. W centrum wsi zjeżdżamy z drogi głównej i wąskim mostem przekraczamy Poprad. Tuż za mostem skręcamy w lewo i jedziemy asfaltową, pnącą się w górę, drogą. W miejscu gdzie kończy się asfalt można zostawić auto i maszerować pieszo około pół godziny. Ale można też pojechać dalej i tak zrobiłem. Polną drogą dojechałem do niewielkiego potoku, który bez problemu przekroczyłem i wjechałem na niewielką polanę. Droga doprowadziła mnie do rozwidlenia na skraju lasu. Tu skręciłem w lewo i jadąc skrajem lasu zatrzymałem się na mini parkingu. Stąd już tylko około stu metrów podejścia na szczyt góry zamkowej.