「神戸から東京に参ります時に、東京は三年より我慢むつかしいと私に申しました。ヘルンはもともと東京は好みませんで、地獄のようなところだと申していました。東京を見たいと云うのが私の兼ねての望みでした。ヘルンは『あなたは今の東京を、廣重の描いた江戸絵のようなところだと誤解して居る』と申しました。私に東京見物をさせるのが、東京に参る事になりました原因の一つだと云ってました。」（『思い出の記』）

一度は東京に住んでみたいというセツの願いを聞き入れて、ハーンは「ジゴク!!」と叫びたくなるほど嫌な東京に住む覚悟を決めた。

少しでも静かに暮らせる環境を求めて、当時は郊外だった牛込区や四谷区（どちらも現在は新宿区の一部）で借家を探した。

そして、「ココ、イイデス」と、ある古い旗本屋敷をハーンは気に入る。

が、セツは腰が引けていた。手入れされず長年放置された建物はボロボロ、庭も雑草が生い茂り藪のように鬱蒼としている。敷地に一歩足を踏み入れた時、彼女は背筋にゾッと悪寒が走ったという。薄気味悪くてとても住む気になれず、すぐにでも契約しようとするハーンを必死に止めた。

後にセツが人から聞いたところによると、その家は化物や幽霊が出るという噂のある事故物件だったという。それをハーンに教えたところ、

「アア、デスカラ何故、アノ家ニ住ミマセンデシタカ。アノ家、面白イ家ダト、私、思イマシタ」

と言う。どうやら確信犯だったようで…。この夫が変人だったのを忘れていた。セツは怪談は好きだが、事故物件に住むほど物好きではない。

休暇は別々でも手紙でやり取り

好みや趣味はまったく相容れないふたりだが、しかし、お互い相手に自分の趣味を無理強いしない。この頃になると、相手の好みに無理にあわせることはやめて、自分の時間を大切にするようにもなっている。