Conseils pour hébergement l'hiver au Japon ?

Bonjour !

Avec ma famille (2 adultes, 2 jeunes), nous comptons peut-être aller au Japon cet hiver du 20 décembre au 2 janvier.

Nous nous renseignons sur plusieurs aspects du voyage, j'ai lu des articles intéressants ici donc je ne vais pas trop vous demander de me donner des informations avant que j'ai bien cherché.
Cependant la chose que je souhaite le plus savoir et que je n'ai pas encore trouvé, c'est concernant les températures.

Nous savons qu'il va faire froid, une moyenne de 5 à 10° et qu'il fait nuit tôt. (nous ne comptons pas aller plus haut que Tokyo)
Dans ces conditions, est-ce que les hébergements proposent un assez bon confort, sont-ils bien chauffés, que l'on ne se retrouve pas frigorifiés dans la chambre ? Car il est vrai que c'est très agréable de rentrer parfois un peu tôt dans sa chambre d'hôtel, se reposer dans un lieu chaleureux et agréable, qui ne nous oblige pas à nous mettre dans nos lits/futons...

Et lorsque la nuit tombe, pouvons nous tout de même continuer à bien profiter de la ville où nous serons, se promener est-il toujours agréable ?

Le froid est le principal frein à ce séjour, donc j'aimerais savoir si il est possible de profiter pleinement du voyage quand même ou vaut-il mieux changer de destination pour cet hiver...

Merci d'avance de vos réponses rapides !