高效的Python通用對象池化庫

　　在程序設(shè)計(jì)中，創(chuàng)建物體模塊主要是通過生成對象來實(shí)現(xiàn)。當(dāng)對象使用結(jié)束后，則會成為不再需要的模塊進(jìn)行銷毀。

　　而在系統(tǒng)進(jìn)行對象的生成與銷毀過程中會大量的增加內(nèi)存的消耗，同時(shí)對象的銷毀往往會留下殘留的信息，這樣將會伴隨內(nèi)存泄露的問題存在。

　　在實(shí)際的程序開發(fā)過程中，往往需要生成和銷毀大量重復(fù)的對象，這就使得內(nèi)存泄漏產(chǎn)生的信息過多而無法被系統(tǒng)回收，從而占用系統(tǒng)更多的內(nèi)存，而且生成物體過多時(shí)無法確定被什么模塊實(shí)例化實(shí)現(xiàn)，對系統(tǒng)造成負(fù)擔(dān)，不利于管理及后續(xù)操作，長此以往最終將導(dǎo)致程序變慢甚至崩潰。

　　對象池是存放了一批已經(jīng)創(chuàng)建好的對象的池，它是一個(gè)用來維護(hù)對象的結(jié)構(gòu)。當(dāng)程序需要使用對象的時(shí)候，可以直接從池中獲取該對象，而不是實(shí)例化一個(gè)新的對象。

　　在程序設(shè)計(jì)過程中，大部分人關(guān)注的往往只是對象的使用和效果的實(shí)現(xiàn)，實(shí)際上創(chuàng)建和使用之間還有一個(gè)初始化的過程，不過系統(tǒng)會將初始化和創(chuàng)建這兩步結(jié)合在了一起，這樣使得設(shè)計(jì)者忽略了系統(tǒng)創(chuàng)建和銷毀對象這一過程對系統(tǒng)的影響。

　　通常來講，一個(gè)對象的創(chuàng)建和銷毀過程開銷很小，可以忽略不計(jì)，但是如果一個(gè)程序中涉及到一種對象多次創(chuàng)建，并且創(chuàng)建時(shí)間比較長，那就會能很明顯的感覺到這部分的消耗所造成的系統(tǒng)速度受限。

　　對象池可以看作是減少 GC 壓力的首選方法，同時(shí)也是最簡單的方法。

　　對象池模式主要適用于以下應(yīng)用場景：

　　●資源受限的場景。比如，不需要可伸縮性的環(huán)境(CPU、內(nèi)存等物理資源有限)，CPU性能不夠強(qiáng)勁，內(nèi)存比較緊張，垃圾收集，內(nèi)存抖動會造成比較大的影響，需要提高內(nèi)存管理效率， 響應(yīng)性比吞吐量更為重要。

　　●在內(nèi)存中數(shù)量受限的對象。

　　●創(chuàng)建成本高的對象。

　　●大量的存活期短且初始化成本低的對象池化，以降低內(nèi)存分配和再分配成本，避免內(nèi)存碎片。

　　●Python 的這樣的動態(tài)語言，GC 是依靠引用技術(shù)來來保證對象不會過早的回收，某些場景下可能出現(xiàn)雖然創(chuàng)建了但是沒人使用的空閑期，導(dǎo)致對象被回收了。可以委托給對象池來保管。

　　Pond 介紹

　　Pond 是一個(gè) Python 中高效的通用對象池，具有性能好、內(nèi)存占用小、命中率高的特點(diǎn)。基于近似統(tǒng)計(jì)的根據(jù)頻率自動回收的能力，能夠自動調(diào)整每個(gè)對象池的空閑對象數(shù)量。

　　因?yàn)槟壳?Python 目前沒有比較好的、測試用例完備、代碼注釋完備、文檔完善的對象池化庫，同時(shí)目前的主流對象池庫也沒有比較智能的自動回收機(jī)制。

　　Pond 可能是 Python 中第一個(gè)社區(qū)公開的測試用例完整，覆蓋率 90% 以上、代碼注釋完備、文檔完善的對象池化庫。

　　Pond 靈感來自于 Apache Commons Pool、Netty Recycler、HikariCP、Caffeine，集合了多家的優(yōu)點(diǎn)。

　　其次 Pond 通過使用近似計(jì)數(shù)的方式以極小的內(nèi)存空間統(tǒng)計(jì)每個(gè)對象池的使用頻率，并且自動回收。

　　流量較為隨機(jī)平均的情況下，默認(rèn)策略和權(quán)重可以降低 48.85% 內(nèi)存占用，借取命中率 100%。

　　8000700060005000400030002000NO POLICYDEFAULT POLICY 0.5N1000DEFAULT POLICY 0.8N403020-110

　　流量較為符合 2/8 定律的情況下，默認(rèn)策略和權(quán)重可以降低 45.7% 內(nèi)存占用， 借取命中率 100%。

　　8000700060005000400030002000NO POLICY10002/8 DEFAULT POLICY 0.5N2/8 DEFAULT POLICY 0.8N-1201040

　　設(shè)計(jì)概述

　　Pond 主要由 FactoryDict、Counter、PooledObjectTree 三部分以及一個(gè)單獨(dú)的回收線程構(gòu)成。

　　FactoryDict

　　使用 Pond 需要實(shí)現(xiàn)對象工廠 PooledObjectFactory，PooledObjectFactory 提供對象的創(chuàng)建、初始化、銷毀、驗(yàn)證等操作，由 Pond 調(diào)用。

　　所以為了讓對象池支持存放完全不同的對象，Pond 使用了一個(gè)字典來記錄每個(gè)工廠類的名稱和自己實(shí)現(xiàn)的工廠類的實(shí)例化對象。

　　每個(gè) PooledObjectFactory 應(yīng)該具備創(chuàng)建對象、銷毀對象、驗(yàn)證對象是否還可用、重置對象四個(gè)功能。

　　比較特別的是 Pond 支持自動重置對象，因?yàn)槟承﹫鼍跋驴赡軙嬖趯ο笾幸荣x值進(jìn)行傳遞，傳遞完又被回收的情況，為了避免污染建議這種場景下無比實(shí)現(xiàn)這個(gè)功能。

　　Counter

　　Counter 中保存了一個(gè)近似計(jì)數(shù)器。

　　PooledObjectTree

　　PooleedObjectTree 是個(gè)字典，每個(gè) key 對應(yīng)著一個(gè)先進(jìn)先出的隊(duì)列，這些隊(duì)列都是線程安全的。

　　每個(gè)隊(duì)列中保存著多個(gè) PooleedObject。PooledObejct 保存了創(chuàng)建時(shí)間、最后借出的時(shí)間以及實(shí)際需要的對象。

　　線程安全

　　Pond 的借用和回收都是線程安全的。Python 的 queue 模塊提供了一個(gè)適用于多線程編程的先進(jìn)先出(FIFO)數(shù)據(jù)結(jié)構(gòu)。它可以用來安全地在生產(chǎn)者和消費(fèi)者線程之間傳遞消息或其他數(shù)據(jù)。

　　鎖是調(diào)用者來處理的，所有多個(gè)線程能夠安全且容易的使用同樣的 Queue 實(shí)例工作。而 Pond 的借用和回收都是在操作 queue，所以基本可以認(rèn)為是線程安全的。

　　借出機(jī)制

　　在使用 Pond 借出一個(gè)對象時(shí)，會先檢查想要借出的對象的種類是否已經(jīng)在 PooledObjectTree 存在，如果存在會檢查這個(gè)對象的對象池是否為空，如果為空會創(chuàng)建一個(gè)新的。

　　如果對象池中有多余的對象，會利用 queue 彈出一個(gè)對象并驗(yàn)證這個(gè)對象是否可用。如果不可用會自動調(diào)用所屬的 Factory 清理銷毀該對象，同時(shí)清理它在 Python 中的 GC 計(jì)數(shù)，讓它更快被 GC 回收，不斷拿取下一個(gè)直至有可用的。

　　如果這個(gè)對象可用，則會直接返回。當(dāng)然無論是從對象池中取出對象還是新創(chuàng)建了一個(gè)對象，都會利用 Counter 增加一個(gè)計(jì)數(shù)。

　　回收機(jī)制

　　回收一個(gè)對象時(shí)會判斷目標(biāo)對象池存不存在，如果存在會檢查對象池是否已經(jīng)滿了，滿了的話會自動銷毀要?dú)w還的這個(gè)對象。

　　然后會檢查這個(gè)對象是否已經(jīng)被借出太長時(shí)間，如果超過了配置的最長時(shí)間同樣會被清理掉。

　　自動回收

　　自動回收時(shí)每隔一段時(shí)間，默認(rèn)是 300 s，就會執(zhí)行一次。自動清理不經(jīng)常使用的對象池中的對象。

　　使用說明

　　你可以先安裝 Pond 的庫并且在你的項(xiàng)目中引用。

　　首先你需要聲明一個(gè)你想要放入的類型的對象的工廠類，比如下面的例子我們希望池化的對象是 Dog，所以我們先聲明一個(gè) PooledDogFactory 類，并且實(shí)現(xiàn) PooledObjectFactory。

　　接著你需要創(chuàng)建 Pond 的對象：

　　Pond 可以傳遞一些參數(shù)進(jìn)去，分別代表：

　　borrowed_timeout ：單位為秒，借出對象的最長期限，超過期限的對象歸還時(shí)會自動銷毀不會放入對象池。

　　time_between_eviction_runs ：單位為秒，自動回收的間隔時(shí)間。

　　thread_daemon ：守護(hù)線程，如果為 True，自動回收的線程會隨著主線程關(guān)閉而關(guān)閉。

　　eviction_weight ：自動回收時(shí)權(quán)重，會將這個(gè)權(quán)重與最大使用頻次想乘，使用頻次小于這個(gè)值的對象池中的對象都會進(jìn)入清理步驟。

　　實(shí)例化工廠類：

　　factory = PooledDogFactory(pooled_maxsize=10, least_one=False)

　　所有繼承了 PooledObjectFactory 都會自帶構(gòu)造函數(shù)，可以傳遞 pooled_maxsize 和 least_one 兩個(gè)參數(shù)。

　　pooled_maxsize：這個(gè)工廠類生成出的對象的對象池的最大能放置的數(shù)量。

　　least_one：如果為 True，在進(jìn)入自動清理時(shí)，這個(gè)工廠類生成出的對象的對象池會至少保留一個(gè)對象。

　　向 Pond 注冊這個(gè)工廠對象，默認(rèn)會使用 factory 的類名作為 PooledObjectTree 的 key ：

　　pond.register(factory)

　　當(dāng)然你也可以自定義它的名字，名字會作為 PooledObjectTree 的 key：

　　pond.register(factory, name="PuppyFactory")

　　注冊成功后，Pond 會自動根據(jù) factory 中設(shè)置的 pooled_maxsize 自動開始創(chuàng)建對象直至填滿這個(gè)對象池。

　　借用和歸還對象：

　　當(dāng)然你可以用名字來進(jìn)行借用和歸還：

　　完全清理一個(gè)對象池：

　　pond.clear(factory)

　　通過名字清理一個(gè)對象池：

　　pond.clear(name="PuppyFactory")

　　正常情況下，你只需要使用上面的這些方法，生成對象和回收對象都是全自動的。

　　希望本篇文章可以給大家?guī)硎斋@，如果喜歡的話，歡迎關(guān)注+點(diǎn)贊+收藏哦!后面會繼續(xù)分享更多Python技術(shù)知識的!

聲明：本站稿件版權(quán)均屬千鋒教育所有，未經(jīng)許可不得擅自轉(zhuǎn)載。