El templo Kongobuji fue construido en 1593 por Toyotomi Hideyoshi, en conmemoración de su difunta madre. El templo más tarde se fusionó con un templo vecino y fue reorganizado en el templo principal del budismo Shingon. Los visitantes de Kongo-Buji se quitan los zapatos al entrar en el templo, al explorar primero verán la Sala Ohiroma, que fue utilizada para ceremonias religiosas y rituales, sus puertas correderas están decoradas con pinturas de grúas de Kaño Tanyu. Después de la sala Ohiroma se encuentran las salas de ciruela y sauce, que llevan el nombre de las pinturas que se ven en sus puertas correderas. Toyotomi Hidetsugu cometió suicidio ritual en la Sala de Sauce según lo ordenado por su tío Hideyoshi. Hay muchas más habitaciones para ver en este templo, incluyendo una habitación dedicada al fundador de Koyasan, la sala de audiencia Jodannoma, la cocina de Kongobuji y el jardín rocosa Banryutei.