十月革命后，日军于1918年在哈尔滨设立了特务机关，为其武装干涉苏联和“防止赤化”而服务，此机关于1919年正式转隶于关东军。哈尔滨特务机关的主要任务是进行反苏反共宣传，在远东建立反共组织，加强“外蒙工作”，收集苏联政治、军事情报，监视中国“赤色”团体和苏联的往来等。
至七七事变前，哈尔滨特务机关新设了白俄事务(联络逃至中国东北地区的白军势力)、文书谍报(无线电截听、印刷品收集分析)、特殊移民(对苏联战俘等刑讯逼供)等业务内容。哈尔滨特务机关还着手组建三支“白俄谋略部队”，对外统称为“浅野部队”，训练他们越境从事爆破、策反、暗杀等破坏活动。
哈尔滨特务机关还曾派遣白俄特务打入苏联驻哈尔滨总领事馆窃取情报，并利用广播、文艺演出以及各种集会等手段，实施反苏反共宣传。1940年8月，关东军正式设立关东军情报部后，原哈尔滨特务机关改为情报部本部，其下属各地特务机关改为情报部支部。
关东军于1920年5月设立奉天特务机关，主要负责刺探东北的政治、军事、经济情报，物色扶植傀儡汉奸，干涉、控制我国东北地方政权等活动。九一八事变前，关东军间谍经常打着“顾问”的旗号，潜入中国各级政权并干涉中国内政。日本军事间谍中村震太郎等人，曾化装成中国农民，到兴农岭、索伦山一带进行军事地理调查，被驻防当地的中国屯垦军逮捕、处死。
九一八事变后，奉天特务机关策划了挟持溥仪、上海事变、制造伪满傀儡政权等阴谋。1933年关东军侵占热河后，奉天特务机关长土肥原出面拉拢前北洋和国民党中非蒋介石嫡系将领，企图造成华北“自治”的局面，并以武力支持汉奸叛乱，建立冀东傀儡政权;又挑起“察东事件”“张北事件”，迫使中国签订了《秦土协定》《何梅协定》;在内蒙古及西北地区策动“独立”，拉拢内蒙王公，策划建立伪“蒙古军政府”，发动绥远战争;日本特务野元甚藏更以“蒙古研究生”身份潜入西藏，刺探情报。
伪满政权建立后，特务机关成为关东军统治东北的重要工具。日本占领东北建立伪满政权后，以关东军第二课为核心，又相继设立了很多特务机关。到1945年，关东军在东北共设立了15个特务机关和20个分机关。关东军情报部门在东北各地遍设情报网，数千人的“关东军宪兵队”负责镇压东北地区的抗日志士，防范苏联、中国共产党和国民党“潜入人员危害其安全”及伪满的统治。为监视和调查中国军民的动向、扶植汉奸、监视伪满的官吏，关东军在原有特务机关的基础上，在伪满政权内部设立由其直接控制的特务机关———伪保安局。伪中央保安局由关东军参谋部第2课控制，伪地方保安局由各地的特务机关指挥。
为加强间谍情报人员的力量，关东军还制定和实施了所谓“北满研究员制度”，派遣参谋军官到特务机关学习和研究谍报业务，并于1943年建立了谍报和谋略人员的秘密培训基地。
1945年，日本战败已成定局，到了六七月之际，关东军将已经失去存在意义的情报部所属机关、部队和宪兵队全部改编为特别警备队，企图让他们以其熟悉的方式进行游击战来负隅顽抗。但没等改编完毕，关东军迅即败亡，特务机关人员除被击毙外，其余基本被俘虏和投降。
