庆长十四年设于平户，宽永十八年按幕府命令转移到长崎的出岛。荷兰商馆的高级职员每年都到江户拜访，带有大量的礼物，经常有名医随行，这些名医为幕府高官提供医疗服务。

在给世子家祥治病的时候，直秀结识了商馆的德弗里斯医生，德弗里斯对直秀的印象很好，按当时规定和外国人是不能随意交往的，但打着探讨治疗方案的名义，直秀还是和德弗里斯医生建立了友善关系，并委托购书。

谈到西洋枪炮，江川英龙和佐久间象山都非常推崇高岛舜臣茂敦，也就是后世有名的高岛秋帆，而此时的四十四岁的高岛却被拘禁在江户传马町监狱。

高岛舜臣茂敦出身于长崎商人家族，家族世袭长崎町年寄，虽然身份是商人，却允许同武士一样苗字佩刀，奉江户幕府的命令辅佐长崎奉行，并监督地方官员。每当将军换代或着家督更替的时候，高岛家督就要像大名一样，前往江户拜见将军并呈上礼物。能与将军如此近距离地接触，便可见这个商人家族地位的不同寻常。

幕府老中水野忠邦对1840年6月中英广州之战的情报做过认真的分析，认识到扶桑在军事、经济和政治方面比清朝更处劣势，于是思谋军事改革。天保十二年（1841年）老中水野忠邦命高岛舜臣茂敦在武藏国德丸原举行西式步兵、炮兵的实弹射击演习，演习效果很好，水野忠邦非常赏识高岛的才能，他于九月命高岛“可于直参中择热心此道者一人传授之”，次年七月又允许向“诸家之热心者”自由传授炮术。重用高岛茂敦和传授西洋炮术，是水野忠邦“天保改革”的重要内容，这表明幕府决心进行军备的西欧化。可惜好景不长，随着老中水野忠邦的失势，幕府刚刚起步的军事改革嘎然而止。反对军事改革的顽固派，这时纷纷造谣中伤高岛舜臣茂敦，污蔑他“阴蓄私兵、图谋不轨”。天保十三年十月二日，高岛舜臣茂敦被鸟居耀藏逮捕。

高岛所在的传马町监狱作为羁押要犯的地点戒备森严，但是人情社会嘛总有办法可想。直秀找到秽多头弹左卫门，见了非人头车善七，要求车善七安排手下平时多关照高岛茂敦，并将一些药物、食品和日用品偷偷带给高岛。非人与秽多一样，也是江户时代主要贱民身份之一，是对被排斥在社会身份秩序以外者的泛称。秽多是从事“不洁”职业的人，比如屠宰牲畜、鞣制皮革、埋葬尸体、行刑、拾荒等，非人则多是乞丐、算命先生、监狱下等杂役。非人头车善七归秽多头弹左卫门管理。江户现在的老中水野忠邦正处于四面楚歌之中，直秀不好公开照顾高岛，只能利用车善七的手下。

秽多头和非人头地位非常之低，平时没有什么正经武士瞧得上他们，直秀只要死不认账就不怕举报。况且直秀态度尊重、言辞温和，并且赠送了他们一些免费礼物和食品调料，两人也知道高岛是老中曾经看重的人物，搞不清此事的深浅，出意外举报直秀的可能性极小。而不能当面拜见高岛秋帆，直秀也颇为遗憾。

此时江户著名的学者还有水户学派的水户两田-藤田东湖和户田忠敬。水户学派推崇尊皇和华夷论，认为神代以来皇统万世一系是扶桑君臣关系的特征，不可动。华夷论认为“夫中国(指扶桑)之水土卓尔于万邦，而人物精秀于八理，故神明之洋洋，圣治之绵绵”，主张扶桑是神国、是世界的中心，扶桑人是神的子孙，是优等民族，要以“大和心”代替“汉心”。其实华夷论就是一种狭隘民族主义。直秀一直认为世界上各民族都很优秀应该互相借鉴学习，对水户学说不感冒，所以没有去主动结识这两个人。

此时江户盛行的朱子儒学（主流）、水户学说、兰学，除了这些显学，还有阳明等儒学但流传不广。除了这些学者，江户名人还有扶桑特有的兵法学家以及剑道名人。

扶桑的兵法学就是讲如何冷兵器时代如何兴兵布阵、组织后勤和军事计谋，其中涉及了一些火枪的使用，在众多的兵学流派中，影响深远、传播较广的是甲州、北条、山鹿、越后、长沼、风山、合传七大流派。此时扶桑兵学的已经远远落后于世界，直秀对此没什么兴趣。

江户武士推崇文武双，剑术影响非常大，江户的剑道馆非常多，其中剑术道场玄武馆，与镜心明智流的士学馆、神道无念流的练兵馆合称“江户三大道场”。

剑术对以后战争没什么用但可以强身健体、培养纪律性，而且道场的人脉非常广，弟子遍布中下级武士、豪商豪民和市井之间，非常有利于直秀以后的发展。

虽然各个流派之间都是互相提防的，怕剑术的秘密泄露被人踢馆砍死，但是直秀整天笑嘻嘻地带来礼物，说要学一点剑术防身健体，人又风趣话又好听，于是直秀在三家道场都混了个不按时上课的弟子，当然学秘技是想都不要想，就是交钱学习摆个花架子划划水。

直秀这种弟子连称呼自己为某某流的资格都没有。

当时江户的各大剑道馆流行发毕业证明，分为“切纸”、“目录”、“免许”、“皆传”、“免许皆传”五种，“切纸”类似肄业证书-此弟子学过但成绩不好还没毕业，“目录”相当于毕业证书-学习合格了列出学了哪些秘技，“免许”相当于优等毕业