レンガ街が建設され始めるころ、11歳で雑貨商に丁稚奉公に入った。このころ横浜から新橋まで鉄道が開通し、海外から輸入された目新しい品物が真っ先に銀座に入ってきた。

服部はその中でも特に時計の将来性に着目した。時計店で修行を積み、明治14年21歳で「服部時計店」を出店。当初は時計の修理をしながら、輸入した時計を売っていたが、明治28年には銀座四丁目の角地に進出。

アメリカ帰りの建築家・伊藤為吉に設計を依頼して五階建ての時計塔のある店を作った。これは銀座の中心で最も高く、評判となった。25年には優れた協力者を得て時計の製作に乗り出す。

「精工舎」の出発である。掛け時計から始め、懐中時計、目覚時計の製作に成功して、ついに明治40年には東京帝国大学などの最優秀の学生に与える「恩賜（おんし）の銀時計」に採用された。

関東大震災が襲った銀座

やがて「精工舎」の規模も拡大したので、大正10年には店舗を建て直すことになったが、関東大震災に遭遇、銀座はほとんど壊滅し、墨田区本所にあった広大な精工舎の工場も焼失した。

苦労の末、再び軌道に乗った精工舎は、改めて銀座店の建築に取り組むことになり、設計を建築家渡辺仁（わたなべ・じん）に依頼した。

渡辺は、やや近代建築に近い近代ルネッサンス様式を採用した。銀座通りは東西の軸に対して四五度傾いているので、四丁目の角を正面とすると、南向きになる。

銀座のモニュメントとして申し分のない配置になった。この正面をゆるい曲面とし、最上階の6つの窓にアーチを付け、その上部の庇を少し引き上げることで正面性を見事に表現している。