军机处要办理机密紧急事务,办公地点必然要靠近寝宫,而不能像内阁在太和门外。据王昶记录,军机值房最初设在乾清门外西边,不久迁至乾清门内,与南书房相邻,后来移到隆宗门的西面。无论是在乾清门内或门外,都离雍正寝宫养心殿很近,便于沟通。雍正初设军机处时,它的房舍是用木板盖成,乾隆初年才改造瓦房,建筑很不讲究。
军机处只有值房,没有正式衙门,有军机大臣和军机章京,但他们都因有别的官职,派充的军机处职务;军机大臣不是专职,本职事务仍照常办理;军机章京以此为职责,但仍属原衙门的编制,占其缺额,升转也在原衙门进行,因此王昶说军机处“无公署,大小无专官”。
正因为如此,军机处这样闻名后世的行政机构,原来甚至于自它问世后的一段时间内,竟没有被人们承认为正式衙门。比如,最早担任军机大臣的张廷玉,在乾隆年间自陈履历,备言他历任各种官职和世爵以及临时性的差使,唯独没有提到担任军机大臣的事。乾隆五十年前后纂修成功的《清朝通典》《清朝通志》《清朝文献通考》等官书,也没有把军机处作为正式衙署看待。军机处成立了,人们还没有充分意识到它的重要性,这是由于它没有官署和专职人员的特点所决定。