司内部某个群体对其职责有了明确的认识之后，才能实现良好的知识管理。这一群体可能从事收集和分类知识，建立以知识为导向的技术基础设施，或引导知识的应用等工作。
一些专业的服务型企业已经开展了正确的知识管理工作。麦肯西、安德森顾问公司、恩斯特＆扬、普赖斯·沃特豪斯，以及A·T柯尼等公司都设有“知识管理主管”。惠普则在它的“产品运作部”中设立一个知识管理小组，并在其“计算机系统”的市场部设立了另外一个。
如果一个知识管理部门试图控制所有知识，它可能会引起企业内部的不满和忧虑。知识管理部门应该仅仅是为了方便其他部门而生产、分配和运用知识。而且，知识管理者的言谈举止不应该是别人觉得他们更“有学问”。惠普公司一位知识管理员认为扮演这样一个角色最重要的是做到“谦逊”。
4．知识管理要有组织运作的支持
首先，知识管理具有高度的政策性。知识管理需要相应的策略作为保证，一旦知识与权力、金钱和成功联系在一起，它也就同游说、阴谋以及秘密联系起来了。如果在知识管理的初期没有相应的策略支持，那么就可以判定该组织中不会产生什么有价值的东西。有些管理人会蔑视策略，然而聪明的知识管理人则会承认策略的重要性并有意开发策略。他们会宣传知识的价值，充当拥有知识的人与利用知识的人之间的中介。他们会培养具有影响力的“点子领导”，使他们成为最初采用知识管理方法的人，并且最大限度地努力实施知识管理体系，从而更好地在组织中运用知识。
第二，组织结构要进行相应的和适应性的调整。传统企业中的组织结构大多是金字塔式的层级管理结构，其缺点是信息传递速度缓慢众真，工作效率较低，营销环节多，管理难度大。在知识经济时代，企业必须调整企业的组织管理机构。从企业内部来看，原有管理层次将逐渐减少，部分中间管理层的作用消失，中间“梗阻”现象逐渐减少，甚至消失。从企业外部来看，企业通过采取缩小规模、重组、外包，以及聘用顾问和雇佣短期劳动力的办法来实现外部调整。美国乔治·华盛顿大学管理学教授威廉·哈拉尔在《无限的资源》一书中指出，世界各国的企业正在经历以经济为基础的三大变革：一是增强协作；二是分权经营或非高度集中化；三是建设智能基础设施。面对新的时代，所有的企业都将经历从集中经营走向分权经营的逆转历史过程。
美国安永公司的知识管理组织结构非常有借鉴意义。安永公司认为，知识管理需要高级管理层的支持，同时它还认为知识管理需要一个框架，而且建立这样的框架需要组织结构相应的调整，以适应和促进企业的知识管理。
在安永公司里，他们尝试采用了业务处理和知识管理系统。这样员工能够很容易地获取为战略性的业务决策所必需的技术和知识，而且公司对这些系统也在不断作出调整。安永公司为提高知识管理水平设立了以下的相关知识管理机构：
（1）知识中心。位于Clevelan、巴黎和新加坡业务知识中心（CBK），是安永公司的基本咨询知识仓库。这个业务知识中心从各种内外部资源获取知识和信息，管理和维持多种知识仓库并将这些知识通过不同的电子方式分发给公司的咨询顾问和客户。
（2）转化中心。位于德克萨斯的Las Col-inas的业务转化中心（CBT），主要负责开发。促进和支持所有的咨询服务能力的方法、工具和技术。
（3）知识网络。总的区域性的富有经验的实践者团队可以在像供应链管理、客户服务、产品开发以及共享服务等方面通过语音邮件和群件网络来及时交流一些重要的关键知识和领先实践。
（4）创新中心。位于波士顿的业务创新中心（CBI）的主要研究集中在业务变化领域。创新中心负责安排全年研究日程并提供一个安永公司倡导的主要是首席执行官和其他变化管理人员参加的讨论，以应用领先经验。