问责制的核心在于要求政府和官员必须对其行为负责。大体上，这种责任可分为三种类型。第一类可称为惩戒性责任，指所有政府官员都必须对其违法行为承担不利后果，轻则承担行政责任，重则承担刑事责任；第二类为补救性责任，指对因政府和政府官员的行为，尤其是违法行为，给民众造成损失，由国家给予民众赔偿和补偿；第三类为政治性责任，指行政首长，确切地说是与选举进退的政府官员（政务类官员）在政府工作出现重大违法、失职、滥用职权、腐败、乃至无能等情形时而承担的领导责任。此种责任极其正式和严格者，如西方国家的弹劾，如我国的罢免；较为宽松者表现为引咎辞职。
问责制所内含的三种责任类型密不可分，三者共同构成了责任政府的基本形态。惩戒性责任警示用权者必须时时小心守护手中的权力，一旦违法或者出现差错，行为人将难逃法网；补救性责任要求政府和政府官员对其行为付出代价，用意在于填补受害人所遭受的损失；政治性责任指向的对象是各级人大选举或决定产生的行政首长，这些人员所具有的特殊政治地位，决定了他们应比一般政府官员承担更多的责任。此政治责任，直接体现的是政府对人民负责的精神和要求。
问责制虽外化为具体的责任形态，但其实质却是通过各种形式的责任约束，限制和规范政府权力和官员行为，最终达到权为民所用的目的。因此，究其实质，问责制是现代民主政治的有机组成部分，问责制的构建旨在高扬民主和法治的旗帜，旨在捍卫和落实执政为民的理念。脱离开民主政治的建设和完善，简单谈问责制和责任追究，将会迷失方向。
客观而言，中国并非没有责任追究机制，上述三类责任形式或多或少在我国立法和实践层面上都有所体现。但从现实来看，我国的责任追究机制不仅存在不少缺位，而且难以有效落实。我国现行立法只重视设定公民责任，不重视设定政府责任。一些单行法律法规中对政府责任的规定或者处于空白状态，或者力度过软不具威慑力，或者过于原则无法追究。一些责任形式虽已上升为法律但却近乎处于虚置状态。如我国宪法和组织法中虽规定有罢免制度，但在实践中却鲜有使用。从而在责任制度上，形成了只重视公民责任的追究，而忽视或不重视对政府责任追究的局面。政府责任的缺失降低了对政府官员的有效约束，造成了政府官员的权力滥用，更根本的是让政府官员放弃了对人民负责的要求。
问责制的推行意义重大，但问责制的合理构建更为关键。不管具体情况、不分原因地一味追究责任，将问责制失之简单化、扩大化，则有可能挫伤行政机关和广大政府官员的积极性，背离问责制的初衷。中国问责制的合理构建需要重点解决以下三个层面的问题。
合理配置和划分行政权力。这是问责制顺利推行的前提和关键。行政机关上下级之间、不同行政机关之间职能交叉严重，权力划分模糊，一直是行政管理中的一大问题。虽历经数次机构改革，但至今尚未根本解决。职权职责不明不仅造成了行政管理运作的不畅，而且使责任追究异常艰难。由于职权不清，难以确定责任人，最终的处理极有可能是问责制归之无效和不公平。放弃责任追究，不单是放纵了责任人，而且会丧失问责制的一贯性和统一性；全部追究或选择追究一部人，虽然事件有了说法，但由于根基不牢，恐难以让受追究者心服口服地接受，更难以有效发挥问责制事先的警示和预防作用。因此，问责制的构建应尽可能以行政职权职责的明晰为前提，并与行政职能的合理配置同步进行。
完善问责制本身的结构和内容。首先应努力使三类责任形式之间保持适度的均衡和互动。目前，三类责任形式呈现出个人惩戒性责任强，其他两类责任弱的态势，淡化了问责制旨在强化政府整体良性运作的功能，因而应予强化。其二应做到责任形式和内容的法定化和细化，使责任追究走向制度化和规范化。
强化责任落实机制。责任虚置或责任追究不到位，是目前制约我国问责制的要害之一。它不仅破坏了责任的约束力和威慑力，影响了法治的统一，而且严重损害了政府形象，甚至助长了一些违法行为者的恶习。问责制建设必须注重通过有效的机制保证各种责任的真正落实。要公开透明，让老百姓知晓政府运作的状况，了解事件的来龙去脉、发生原因、处理进程和结果，及政府的改进措施和落实情况，通过民众的广泛参与落实问责制；要用程序来保证问责制的健康发展，将问责制纳入法治化的程序轨道，用正当程序保证问责制的正当性和经常性,从而防止问责制陷入人治误区；要充分发挥监督机制的作用，我国虽已建立起内外结合、多途径多渠道的行政权监督体系，但这一体系尚未形成十分有效的监督网络，难以充分发挥整体的监督合力，问责制有赖于这些监督机制作用的激发和配合。
从不问责或很少问责到问责的强化，再到合理化的问责，乃至政府管理和政治体制的良性运作，这些都是中国走向政治文明必须迈过的门槛。迈过这些门槛的速度和时机，决定着中国政治文明的进程。