长治市图书馆前身为太行区公立长治图书馆，创建于1946年10月18日，时为晋冀鲁豫解放区藏书最丰富的图书馆。全国解放前夕，图书馆的一部分迁往邯郸，留下部分易名为大众阅览室。1954年，大众阅览室更名为长治市人民图书室。1957年9月，改名为长治市人民图书馆。1970年，图书馆、文化馆、博物馆、工人文化宫、省文物工作组合并为长治市文化工作站。1972年，恢复长治市图书馆建制，馆址在长治市英雄街78号。

　　长治市图书馆现用馆舍于2003年建成竣工、2005年5月正式对外开放，总建筑面积10000平方米，总投资3526.55万元。新馆位于长治市太行西街178号。馆内设有中文期刊阅览室、中文报纸阅览室、中文图书借书室等12个窗口，共有1200个阅览座席，面向全社会开放。2013年，图书馆全年接待读者30.5万人次。截止到2013年底，图书馆累计藏书60余万册，图书馆图书利用率达到62.9%。  

　　为不断改善图书馆基础设施，图书馆于2006年接入宽带，2009年开通了长治市图书馆网站，在2010年分别安装了无线网络和专用存储设备。目前，图书馆宽带接入30M，自动化设备存储容量达到30TB，读者服务区无线网覆盖率达到100%。2012年，长治市创建全国公共文化服务体系示范区期间，市政府投资650万，安装了Interlib图书馆集群管理系统、RFID图书馆管理系统和文化E管家等图书馆自动化管理系统。图书馆以此为平台，实施了公共图书馆业务总分馆制，推进建设了长治市图书馆集群，集群与省图书馆联通，实现了馆际互借、通借通还。2013年，图书馆先后购入了两台“读报浏览器”和一台“电子书借阅机”，让读者获取最新报刊信息或者下载免费电子书的过程更加方便快捷。 

　　图书馆公共文化服务能力逐步提升。2006年元月图书馆成立了长治市公共文化信息资源共享工程支中心。目前全市文化共享工程乡村覆盖率达100%。从2012年8月开始建设的长治市图书馆集群，到2013年初，就已经实现了长治市图书馆与12个县市区公共图书馆之间的资源共享、互通互联和一证通用、通借通还，长治市图书馆集群覆盖率达到92.9%。2012年起，图书馆先后分期采购流动图书车两部，定期深入到社区、学校、企业、军营甚至监狱为读者提供送书上门服务，惠及20个社区8万多居民。目前此项服务已经成为图书馆的一项特色服务，更成为了一项深受老百姓欢迎和认可的惠民服务。 

　　2011年，长治市图书馆因开展全民阅读活动富有创意，被中国图书馆学会评为“全民阅读”先进单位。2013年，图书馆被山西省委宣传部授予文化体制改革工作先进单位。在全国第四次、第五次公共图书馆评估中，图书馆均被评为国家一级图书馆。又因在长治市“创建国家公共文化服务体系示范区”建设中工作突出，多次受到上级部门和领导的肯定。