九九久久精品免费观看,蜜臀av午夜福利在线,后入内射无码人妻一区,六月婷婷精品视频在线观看,一区二区三区婷婷中文字幕,51精品免费视频国产专区,JIZZJIZZ国产,国产极品女主播国产区,亚洲一区二区三区国产精品 ,免费一看一级毛片

一個人在成長過程中會遇到各種各樣的選擇問題，如一些人生規(guī)劃的抉擇：上哪所大學(xué)，學(xué)什么專業(yè)，去哪家公司，等等。再如我們進入一家電玩城，那里擺著一排老虎機，雖然外表一模一樣，但是每個老虎機吐錢的概率卻不一樣，作為一名資深玩家應(yīng)該選擇搖動哪臺老虎機呢（圖1）？這些選擇問題有沒有什么科學(xué)的辦法來解決呢？答案是：有！而且是非常科學(xué)的辦法，那就是強化學(xué)習(xí)中的多臂老虎機算法。該算法可以科學(xué)地推薦收益最大的方案，而且能夠應(yīng)用于許多領(lǐng)域，如：一種新疾病（如新冠），如何嘗試各種治療方法，來盡快治愈病人？一個新產(chǎn)品，如何調(diào)整定價，來獲得最大收入？一個新聞稿，如何嘗試推薦，來獲得最多總點擊次數(shù)？在大名鼎鼎的阿爾法狗（AlphaGo）中，也能看到多臂老虎機算法的身影。

圖1. 多臂老虎機模型

最近，北京大學(xué)化學(xué)與分子工程學(xué)院的劉志榮教授課題組將多臂老虎機算法應(yīng)用于天然無序蛋白質(zhì)的藥物設(shè)計問題，大大加速了基于構(gòu)象系綜的配體虛擬篩選過程（圖2）。

圖2. 多臂老虎機的強化學(xué)習(xí)算法可以應(yīng)用于無序蛋白的配體虛擬篩選。

天然無序蛋白質(zhì)（Intrinsically Disordered Proteins）沒有固定的三維結(jié)構(gòu)，卻具有正常的生物學(xué)功能，不但是對蛋白質(zhì)“結(jié)構(gòu)-功能”傳統(tǒng)范式的重要補充，而且因其與多種疾病密切相關(guān)而成為重要的潛在藥物靶標(biāo)。無序蛋白與小分子的相互作用機制與傳統(tǒng)的有序蛋白迥然不同，在生理條件下是以包含很多不同構(gòu)象的系綜形式存在的，單單針對某一個構(gòu)象設(shè)計藥物并不能保證對整個無序蛋白系綜的結(jié)合有效性。如果對系綜中的所有構(gòu)象進行分子對接，再結(jié)合統(tǒng)計熱力學(xué)原理將對接結(jié)果綜合起來，理論上是可以得到藥物配體與無序蛋白的結(jié)合親和力（J. Chem. Inf. Model. 2020, 60, 4967）（圖3）。但是，與傳統(tǒng)的藥物設(shè)計流程相比，這種做法的計算量將暴增成千上萬倍，這在實際應(yīng)用中是無法接受的。那么，有沒有可能存在某種算法，既能夠大大降低計算量，又能保持較高的篩選性能？

圖3. 表觀親和力與單個構(gòu)象和配體的相互作用自由能有關(guān)

事實上，這種可能性是存在的。關(guān)鍵是需要認(rèn)識到虛擬篩選的目的不是準(zhǔn)確地計算所有小分子配體（數(shù)目通常高達十萬）的親和力，而是篩選出少量的（數(shù)目在100左右）具有最大親和力的“頂尖”配體。對于位于金字塔底部的大量配體，是沒有必要準(zhǔn)確計算的。這與多臂老虎機問題非常相似。對于這個老虎機問題，顯然最佳的做法是找到那個預(yù)期收益最大的拉桿并不斷地去拉動它。但是，玩家無法預(yù)先知道每一個拉桿的期望值，必須根據(jù)拉動的結(jié)果來動態(tài)地進行估計。多臂老虎機問題的目的是找出最有價值的1個拉桿，而虛擬篩選的目的是找出最有價值的100個配體，它們的核心問題是共通的。

基于這些認(rèn)識，劉志榮課題組提出了一種可逆的UCB算法（reversible upper confidence bound, rUCB），用于對無序蛋白的強化學(xué)習(xí)虛擬篩選過程。在測試中，rUCB展現(xiàn)出了非常優(yōu)異的效果。例如，在人工數(shù)據(jù)的測試中，對于十萬個配體，只需要進行二十萬次對接（即平均每個配體只需要對接兩次），所挑選出的親和力最大的100個配體的準(zhǔn)確性高達94%。對真實癌蛋白c-Myc的虛擬篩選中，rUCB也有很好的效果（圖4）。

圖4. 強化學(xué)習(xí)rUCB算法在癌蛋白c-Myc的配體虛擬篩選中的結(jié)果。

該工作表明強化學(xué)習(xí)算法可以有效解決無序蛋白藥物設(shè)計的配體虛擬對接中構(gòu)象數(shù)目過多所導(dǎo)致的瓶頸問題。研究成果以“Reinforcement learning to boost molecular docking upon protein conformational ensemble”為題發(fā)表在Phys. Chem. Chem. Phys. (2021, 23, 6800-6806)上。（https://pubs.rsc.org/en/content/articlelanding/2021/cp/d0cp06378a#!divAbstract）。  論文第一作者為北京大學(xué)化學(xué)學(xué)院2021屆博士畢業(yè)生崇濱，通訊作者為劉志榮教授。該項研究受到國家自然科學(xué)基金委員會重點項目（21633001）和北京分子科學(xué)國家研究中心的資助。

參考資料：https://www.chem.pku.edu.cn/kyjz/128627.htm