一九一六年私は父と相談のうえロンドンで計画した楽堂建設の案を世に発表した。その時はかなりのセンセーションを与えたらしい。発表はしたものの、楽堂建設の計画を依頼した英国 の有名なサー・ブルメル・トーマスの設計が世界第一次大戦のためできてこないのと、楽堂に 設備するパイプ・オルガンを一時製造中止した関係上予定のようには捗らなかった。そして時 日は容赦なく過ぎていった。私はなんとか方法はないものかと考えていた。
　そうしているうちに、ある時私の処の財務部長であった陸軍主計少将の日疋信亮君---この人はクリスチャンで満州で関東軍経理部長として活躍した人である--が、トーマス君の設計 も大戦のため延引しているから、いっそのこと日本にいる適当な設計者に相談して新しいプランを作ってはどうかと提案した。日疋氏の考えでは、英国のトーマス君は、まだ日本にきたこともないから、図面においては完全なものができようが、建築の実際において気候風土や日本の事情に通じていないと、できあがった後に種々の不便が起らないとも限らないというのである。まことにもっともな意見ではあるが、当時の日本建築界においでは、もっともデリケートな音楽の知識を持っている建築家はほとんどいないといってよかった。それで種々と日疋氏とも協議した結果、近江八幡に住むキリスト教の伝導に一身を捧げている米人建築家ウィリアム・エム・ヴォーリス君に依頼することにした。たまたまヴォーリス君が外国語学校の英語の教師米人ミラー氏の中野の家にきているということを知ったので、早速出掛けた。省線の柏木駅（現在の東中野駅）で下車して田舎道を数丁ゆくと、純米国風の建物があった。この家もヴォーリス君の設計した家だということをあとで知った。家に近づくと、おちついたハーモラウム（オルガン）の音が聞えてきた。サロンに招じられると、一隅にアメリカオーガンがあった。 主人のミラー氏はそのオルガンのかたわらにいる人を紹介した。それがヴォーリス君であった。 夕食をともにしながら私はヴォーリス君にだんだん興味を持った。ヴｫーリス君は私の想像したより年も若く、音楽にも理解を持っていた。私は同君に楽堂の設計を依頼することに自信をえた。そこで私はロンドン時代からの理想や楽堂の設計案について話すと、ヴォーリス君は非常に喜んで、自分も長く日本に住んで、日本の土地に愛着を持っているから、自分の好きな音楽に関係があることで日本に残す仕事が与えられるなら、それにこした喜びはないといい、「トーマス氏の設計は設計として、私も一つ設計して参考のために御覧にいれましょう。」と同君は熱心に語った。
　待ちに待ったサー・ブルメル・トーマスからの設計図が私の手許に届いたのは一九一六年の秋であった。その設計図は私の希望をよく理解して、私の理想通りにできていた。しかし、日疋君もいったように、建築の実際にあたっては改良すべき処もでてきた。そこでヴｫーリス君にトーマス案を示して、これを基礎として日本の実情にそくしたプランを作成してくれるように依頼した。新しい設計図のできたのは一九一七年の春である。私はこれを実施することに決 心した。そして、その年の三月二十四日、麻布飯倉（現在の港区麻布飯倉六丁目十四番地、麻布小学校のある場所）に楽堂を建設すべく、その地鎮祭を執行した。
　私がかねて望んでいた楽堂建設案も、いよいよ地鎮祭をおこなうまでに進捗したので、私はその喜びを知友にわかちたいと考えて、当夜、当時私の住んでいた芝三光町の家で内輪の祝賀音楽会を催し、建築委員長のヴォーリス君をはじめ関係者を招待した。
　音楽会は夜七時半からはじまった。私が親しくしていた瀬戸口藤吉海軍軍楽長がとくに築地の海軍軍楽隊派遣所から十二人の楽士を引率してきて、演奏してくれた。また、声楽家の武岡鶴代女史はその当時上野音楽学校在学中であったが、とくに出演され、瀬戸口君指揮の小オーケストラの伴奏でヴェルディ作歌劇「トラヴィアタ」の詠唱「アフォルセルイ」を歌い、またコントラ・アルトの歌手として当時将来を期待されていた花島秀子女史（現柴田秀子女史）も在学中であったが、とくに出演され、サン・サーンスの歌劇「サムソンとデリラ」の中の「我が心」を歌ってくれた。この歌の伴奏の小オーケストラは瀬戸口君がとくにこの晩のために編成してくれたのであった。その他にチァイコウスキーの「アンダンテ・カンタービレ」も演奏された。
　南葵楽堂はかくして一九一八年へ大正七年）七月三十日に完成した。正面玄関の上には、南葵文庫（南葵とは南の葵ということで、紀州徳川を意味し、南葵文庫は明治三十二年私の父が開いた日本最初の私立公開図書館である）のマークである捻じ葵から考案された酸漿の紋をつけた。これは絞章学のオーソリティでその研究によって文学博士の学位をえた沼田博士のデザインである。入口の階段と左右にならぶ四本の大円柱は水戸の稲葉産の花岡石を使用した。建物全体の大きさは、間口七間、奥行十五間半、天井の高さ二十八尺で、建坪はおよそ百坪であり、座席は三百五十名をいれられた。 この楽堂の開堂式は同年十月二十七日に挙行され、午前九時から型のごとく式がとりおこなわれた。波多野宮内大臣、中橋文部大臣、大隈早稲田大学総長、床次内務大臣、山川帝国大学総長（現在の東京大学）鎌田慶応義塾大学総長をはじめ約二百名の人々が参会した。 「私の父は最初に、自分は数十年前（明治三十二年--一九〇九年）目を以て修業すべき機関として私立南葵文庫を創立したが、今度は耳を以て修業すべきものとして、この楽堂を造った、多少なりともこれが社会に貢献する処があれば幸である」と挨拶した。次いで、楽堂建設の実際にあたったヴォーリス君が建設実行委員長として、流暢な日本語で「この楽堂は単なる記念物として建てられたものではなく、精神的な教養を公衆に与えようという高尚な趣旨によって造られたものである。」と述べた。 来賓代表として波多野宮内大臣が祝詞を述べ、次に山川帝大総長が、徳川頼倫侯爵はさきには南葵文庫を設立された。図書館は元来書籍の収集と保存および学者の研究に資するものとされていたが、近来は一般公衆が利用して知識をひろめるものと考えらるるようになった。アメリカのカーネギーのごときは一億円の巨費を千六百の図書館に寄附したそうである。音楽は中国では六芸の一つに教えられ、礼楽とまで称せられた、目よりなすべき学問のために、私立図書館を創られた徳川侯がこのたび耳のために楽堂を建設されたことはまことに意義深いことで喜びに堪えない。」といわれた。
　つづいて大隈早稲田大学総長は不自由な足を運んで登壇され、非常に愛矯たっぷりに「諸君、音楽の偉大なる力は神の怒りを静めて常暗を光明の国に化した日本の神話にも知ることができる。不幸にして我輩はどうも疎くて音楽のことはよく解らん、神様の前で聴く音楽も、これまでいい加減に聴き流していたものだから、神様が罰をくだして音楽に対して、我輩を聾とせしめたんであるんである。（これは同侯の口ぐせ）といって、満堂を爆笑させた。
　最後に鎌田慶応義塾大学総長が立って「只今は世界大戦（第一次大戦）の真ッ只中である。古語に治にいて乱を忘れずというがのあるが、じつは乱にいて治を忘れざる心こそ一層大切なことである。この意味からして楽堂の建設は心から喜びに堪えない」と述べられた。かくして記念すべき開堂式は十一時過ぎに終った。
　南葵楽堂最初の演奏会はその晩の七時から開催され、べートーヴェンの大音楽が喨々として軟かな光に包まれた粟色のプラットフォームから響き渡りその夜を圧したのであった。当時の諸新聞は日本文化への大貢献だといって激称した。演奏会は上野音楽学校教師クローン氏の指 揮のもとに東京音楽学校職員生徒とこれに海軍軍楽隊が加わった混成管絃楽団およそ八十名によって開始された。曲目は私の希望によって全部べートーヴェンの曲であった。第一番目は開堂に因んで序曲「家の祭祀に寄す」（Consecration of the House）作品一二四であった。 この序曲は一八二二年十月三日、ウィーン郊外の緑深いヨセフ・シュタットに新設された劇場のために作曲されたものであって独立楽曲として十分の価値を持つと同時にべートーヴェンの最大傑作第九交響楽の壮大なる和音と節奏とを彷彿せしめ、私がつねづね多大の興味を持っていたものである。もちろんこれが日本で最初の演奏であった。 第二番目は私のもっとも愛好するピアノ協奏曲第五「変ホ長調」作品七十三、俗に「皇帝協奏曲」といわれるものであった。洋琴演奏者は当時東京音楽学校のピアノ教授であったショルツ氏があたった。この曲はその第一楽章のみがかつて一九一〇年五月上野奏楽堂において演奏されたが、全曲を完全に演奏したのはこの時が日本で最初であった。あの全世界のあらゆるピアノ協奏曲中品美の楽曲であるといわれる。冒頭に響く行進曲の主題には、まったく皇帝の行進にも比すべき堂々たる威厳が感ぜられる。この犯すべからざるべートーヴェンの偉大なる芸術に果してうたれないものがあろうか？
　最後の曲目は管絃楽伴奏合唱曲「海の静さと幸ある舟路」 （Meeresstille und gluckliche Fahrt）作品一一二であった。べートーヴェンがこの詩の作家ゲーテに捧げた曲である。 詩の大要は

深き静けさ漲りて
猛りをとめて海憩ふ
何ず方よりも風落ちて
黄泉の静けさ物凄し
限りも知らぬ海原に
連波一つ揺ぎなし

霧は散り行く
空晴れて
吹き来る風に
愁い去る
嘯々の声
人動く
速くぞ速く
あれ陸地

（故田村寛貞氏訳）
田村氏は学習院の先輩であり
田村陸軍中将の息、音楽学校 教授、音楽美学者
　 この曲もまた我国における初演で、二百余名の男女の音楽学校生徒によって歌われた。 かくして楽堂最初の演奏会はめでたく終った。この日はあいにくと雨天であったが多数の来会者があり、いずれも多大の称讃を惜しまなかった。私は数日前からの風邪のため、ついにこの記念すべき演奏会に列席できなかったが、かえすがえずも残念至極である。 私は最初、春秋二回上野音楽学校管絃楽団ならびに男女学生混合合唱団を招へいして新しい曲のみ（日本初演のもののみ）を演奏して音楽学校によき刺戟を与え、音楽愛好者にも喜んでもらおう、と考えていた。ところが実際は上野で定期演奏をした曲目をそのまま後で演奏しにくるような始末で、はじめの考えとは離れたものになってしまった。なお、演奏には毎回二、三千円ほどの謝金を出したとおぼえている。 第一次世界大戦のため延びていたパイプ・オルガンも、平和が克復した一九一八年（大正七年）いよいよ製造にとりかかるとの通知に接した。それからまた二年あまりたって一九二〇年春、つまり注文してから六年目にやっとオルガンが日本に到着した。オルガンは私が英国に留学中、私の先生であったエドワード・ネーラー博士（ケンブリッジ大学のエマヌエル・カレジの教授）の監督のもとに英国リーズ市のアボット・スミス会社に注文したものである。 このパイプ・オルガンが横浜に着くと一問題が起きあがった。一般にオルガンといえば、日本ではアメリカのハーモニウムかリード・オルガンより知らない当時のことであるから、税関では、円柱のようなパイプが五、六十もの箱にはいっていて品名がパイプ・オルガンとなっているのだから、何だか全く判らなかったらしく、建築の材料の部分品かも知れないから、一つ一つの容積と目方とによって税をかけたらいいだろうどいうことになった。そんなことをされてはオルガンの代価より税の方が高くなってしまう。そこで私は要路の人々にパイプ・オルガンというものを理解させねばならないと考え、早速文部大臣と大蔵大臣に会ってことの次第を説明した。その結果、オルガンは教育品であるということになって、無税通関を許された。
　ところが、また困ったことができあがった。オルガンが東京に着いたものの誰一人これを組立てる人がない。各方面に問い合せたが見当らない。やむなくアボット・スミス会社に電報して技師にきてもらうようにした。そしてその年の六月プリチァードという技師がやってきた。同技師は私の処にきて、日本語が解らないから適当な通訳を世話してもらいたいと申しでた。そこでアマチュアのオルガニストとして知られていた東京商科大学教師のエドワード・ガンドレット（同氏はペンマンシップの大家で、私の中学時代同氏の英習字を盛んに習ったことがある）にプリチァード技師を援助してくれまいかとたのんだ。また、オルガン設置の作業に実際に働く人が必要であったから、日本楽器会社に交渉して同会社の斎藤技師長にきてもらうことになった。その時の経験が後日役にたって、日本楽器会社は国産パイプ・オルガンの製造に成功した。
　工事は七月から開始し、約五ヵ月かかって十一月初旬に完成した。プリチァード技師はそのあいだ熱心に働いてくれた。私は同技師にオルガン竣工の披露演奏会を開くから、それまで日本に滞在しないかとすすめたが、クリスマスまでに家族の許に帰りたいとたっての希望で、自分で造りあげたオルガンの演奏もきかず、工事が終るや急いで英国に帰っていった。
　パイプ・オルガンの大きさは高さ四間、奥行二間、幅三間で、パイプの総数千五百余本、鍵盤三段、ストップ三十六個、最長のダイヤ・ペーソンは十六フィートで、送風には七馬力半のモーターを用いることになっていた。モーターを使用せずに人力で送風するとしたら、何人ほど要するかと訊ねでみたら、およそ十六、七人を要するということであった。
　後のことであるが、南葵楽堂は関東大地震災で大きな被害を蒙ったので、私はパイプ・オルガンを東京音楽学校に寄附した。現在同校演奏室にあるのがそれである。
　一九二〇年十一月二十二日および二十三日の両曰にわたり披露演奏会を催した。
　第一日は東京音楽学校の管弦楽を主としてこれに独奏をくわえたもの、第二日は海軍軍楽隊のオーケストラと独奏ということにした。そして友人のチェコスロバキヤのセロの名手ボクミル・シコラに出演してもらうこととし、マニラで演奏中のシコラ氏に来朝を求めた。同氏は伴奏者のヒルブルグ夫人を同伴して来朝した。因にシコラはクレンゲルの弟子である。
　私はこの音楽会をぜひ広く公開したいと思った。それにはノミナルなプライスで入場券を音楽愛好者にわかちたいと考えたが、旧式で頑固な父は徳川ともあろうものが切符を売るなどはコケンにかかわるといって強硬に反対した。私は、金をとるのが目的ではなくて、この会をなるべく一般的なものにしたいのだと主張したのだが、父の容れる処とはならなかった。
　演奏会の前日の一般来会者の入場券を交付する約束の日になると、朝八時から多数の人が詰めかけた。多くは男女の学生青年諸君であったが、なかには晴着を着た夫人令嬢も混っていた。定刻十時になると、人数はいよいよ増して、楽堂の前庭は大変な混雑になったので、ついには所轄警察署も心配して警官を派遣するところまで発展した。音楽会の入場者整理に警官があたるということば当時でも稀有のことで、主催者たる私達は非常に心配した。係員は「切符は十分配布する用意がありますから安心してください」と大声で叫んだり、貼紙をしたりして群衆を鎮めようとしたが、ひしめき合う人々は先を争って受付に殺到し、ついには鉄柵を乗り越えたり、窓から楽堂に飛び込もうとしたりする青年もでた。群衆は恐らく五、六百人はいたであろう。そんな具合で我も我もという希望に係員も制しきれず、最初は三百枚配布する予定のところ、その倍の六百枚も配ってしまった。私はこの多勢の人を一体どう始末したらよいか迷って協議した。その結果、音楽会をいま一日つづけて再演し、切符を受取った人に洩れなく演奏が聞けるようにした。
　第一日の招待日は予定通り十一月二十二日午後二時半に開場した。楽堂の階上を皇族の席とし、階下を一般の席にあてた。
　私の母の伯父になる故伏見官貞愛親王をはじめ、叔父の故閑院元帥宮戴仁親王、伯母になる東伏見宮大妃、義姉にあたる久邇大将宮（現皇后の父宮）妃と現皇后の宮で当時の久邇良子女王とその妹君の信子女王（後三条西伯夫人）、梨本大将宮両宮と女王（現李王妃）等二十八方が臨席された。けだし前後を通じてこのように多数の皇族方が出席された音楽会はないと思う。
　演奏はグスターヴ・クローン教授指揮の東京音楽学校管弦楽団によるべートーヴェンのエグモントの序曲にはじまり、第二はべートーヴェンの第三交響楽「英雄」の全曲、第三番目は東京音楽学校助教授中田章氏がパイプ・オルガンによってバッハ作曲のニ短調プレリュードとライベルガー作のイ短調ソナタ中の間秦曲を演奏した。これが日本における最初のパイプ・オルガンの高鳴りであった。つづいて安藤幸子女史とパウル・ショルツ教授によるグリーグの「ヴァィオリン、ソナタイ短調が演奏され、最後にボグミル・シコラ氏が愛用のセロをもってヒルブルグ夫人の伴奏でロッティ作、フリッツ・ハーゲン編曲の歌謡調とチァイコウスキー作の悲しき歌を演奏し、そのあとガンドレット氏のパイプ・オルガンの伴奏でバッハの「G線上のアリア」とタルティニの「アンダンテ・カンタービレ」を奏した。このようにして私の待望したパイプ・オルガンはその美くしい音を楽堂に漲り溢れさせた。
　披露音楽会は盛況裡に終了した。私は演奏が終ると控室にいって演奏者達にその労を謝した。席にいたシコラはセロを抱えながらまだ覚めやらぬ昂奮に眼を輝やかせて私の手をきつく握り、自分は今日ほど幸福を味わったことがない。多くの日本皇族と日本の愛好家の前で演奏した名誉は一生忘れることができない、聞くところによれば日本では皇族は決して拍手をしないという（その頃まではそのような習慣であった）が、今日はどの宮様も熱心に拍手された、自分はこのような喜びを一度も味わったことがないと、感激して語った。
　第二日目の音楽会は十一月二十三日午後六時半から開催した。最初は横杖海軍音楽長指揮のもとに海軍音楽隊の管絃楽によって英人エドワード・ネーラー博士の「南葵楽堂のための序曲」が秦せられた。ネーラー博士は私がケンブリッジ大学在学中の恩師で、楽堂関堂を祝して作曲してくれたのである。それをその日とくに演奏したのであった。次ぎにソプラノの武岡鶴代女史がガントレット氏のパイプ・オルガンの伴奏でバッハ、グーノーの「アヴェ・マリア」を歌い、シコラ氏がセロでそのオブリガートを奏した。第三番にシコラ氏は管絃楽の伴奏でチャイコウスキー作の「ロココを主題とせるヴァリェーション」を弾いたが、これは同氏の得意の曲の一つであった。オーケストラの伴奏による同曲の演奏はその時が我が国で初演であった。最後に前日同様シコラ氏がパイプ・オルガンの伴奏でバッハとタルティニを、ピアノ伴奏でグラゾノフ作の「エチュード七番」およびポッパーの「タランテラ」を奏し、かくして第二日の音楽会も盛況裡に終った。
　第三日は一般聴衆のためにとくに催したもので、曲目は第二日と同様であったが、聴衆は定刻より一、二時間も前から詰めかけ、文字通りの満員で、これまた大盛況裡に幕を閉じた。
　私はこの三日間にわたる音楽会によって、私の理想であり、夢であったのが実現されたことを心から嬉しく思った。楽堂もパイプ・オルガンも完成し、それが実際に活かされたことにこよなき喜びを感じた。かつて英国留学中に描いた夢が、今や現実の姿となったことを神に感謝した。これはちょうど地中の芽が日光を求めて地上に萠えでるようなものである。芽生えを見るのは限りなく喜ばしい。しかし、それには人知れぬ努力がいるのである。
因にシコラ氏は今年（一九五三年）五月ニューヨークで逝去した。同氏は死ぬ前まで日本を愛し、今一度渡日したいと手紙をよこしていた。