Trong nhiệm kỳ đầu tiên của mình trong năm 2006 - 2007, ông không thực hiện các cuộc viếng thăm ngôi đền nhằm tránh gây căng thẳng với những nước láng giềng là Trung Quốc và Hàn Quốc. Nhưng sau đó ông lại bày tỏ sự hối tiếc vì mình đã làm như vậy.
Ngôi đền Yasukuni do Hoàng đế Minh Trị xây dựng vào năm 1869. Đây là nơi thờ 2,5 triệu vong hồn thiệt mạng trong những cuộc chiến tranh của Nhật. Những người này bao gồm những binh sĩ và cả các tướng lĩnh gây ra các tội ác chiến tranh sau thế chiến thứ hai.
Đối với Bắc Kinh và Seoul, ngôi đền này là biểu tượng cho cuộc chiến tranh xâm lược của chủ nghĩa quân phiệt Nhật Bản, những thế lực xâm lăng đã để những ký ức cay đắng không bao giờ quên đối với 2 quốc gia này. Việc chuyến thăm được truyền hình trực tiếp ngang một sự kiện “văn hóa quốc gia” càng làm cho 2 nước này thêm giận dữ.
Phát ngôn viên Bộ Ngoại giao Trung Quốc Tần Cương cho rằng ông Abe đã "chà đạp một cách tàn nhẫn lên cảm xúc của người dân Trung Quốc và các nạn nhân ở một số quốc gia châu Á khác”.
Hàn Quốc cũng bày tỏ phẫn nộ, "chúng tôi không thể không lên án và bày tỏ sự tức giận trước chuyến thăm ngôi đền Yasukuni của Thủ tướng Nhật Bản... bất chấp sự lo ngại và cảnh báo từ các quốc gia láng giềng", Bộ trưởng Văn hóa Hàn Quốc Yoo Jin-Ryong nói với các phóng viên.
Ngoại trưởng Nhật Fumio Kishida nói với các phóng viên rằng chính phủ Nhật mong muốn chuyến thăm của ông Abe sẽ không gây thêm ảnh hưởng cho các mối quan hệ.
"Tôi thấy rằng chuyến thăm của các chính trị gia, các bộ trưởng tới đền là vấn đề của cá nhân người đó. Tôi tin rằng chúng ta nên tránh để sự việc phát triển thành một vấn đề chính trị và ngoại giao", ông Kishida nói.
Trước ông Abe, thủ tướng Nhật ông Junichiro Koizumi cũng đã tới thăm đền thời này vào ngày 15/8/2006, dịp kỷ niệm Nhật Bản đầu hàng trong Thế chiến II. Những cuộc viếng thăm đền Yasukuni của các quan chức Nhật Bản làm xấu đi quan hệ với các nước láng giềng.
