approximate policy iteration a survey and some new methods.pdf

收藏

编号:20181122173634537268    类型:共享资源    大小:2.56MB    格式:PDF    上传时间:2019-02-16
  
4
金币
关 键 词:
approximatepolicyiterationasurveyandsomenewmethods
资源描述:
_ ,c D n 加ZZ 抛D 拶A 印Z2 0 1 l9 ( 3 ) 3 1 0 - 3 3 5 D O Il O .1 0 0 7 ,s l l 7 6 8 _ o l l - 1 0 0 5 - 3 ▲ ■ J1 ■■』J ●■ A D D r 0 X l m a t eD 0 l l C yl t e r a t l o n :aS U r V e ya n nS 0 m e n e wm e t h o d S D i I n i 仕iP .B E R T S E K A S D c p a m ∞n t o f E l e c m c a l E n 萄n e c r i n g a n d C 伽叩u t e r s c i 即c e ,M 舔s a c h u ∞t t s I 璐t i m t eo f l k l l l l o l o g y ' c 锄嘶d g e ,M A 0 2 1 3 9 ,U .S .A . A b s t l 鼍c t :W bc o n s i d e rt l l ec l a s s i c a lp o l i c vi t e :r a t i o nm e m o do fd v n a I T l i cp m g 瑚m m j n g ( D P ) ,w h e r ea 1 ,p r o x i m a t i o n s 肌ds i m u l a n o na r eu s e dt od e a lw i t hm ec u r S eo fd i m e n s i o n a l i t y .W bs u r v e yan u m b e ro fi s s u e s :c o n v e r g e n c ea n dr a t eo f c o n v e 理e n c eo fa p p m x i m a t ep o I i c ye v a l u a t i o nm e t h o d s ,s i n g u l 州西a n ds u s c e p t i b i l i Ht os i m u l a d o nn o i s eo fp o l i c ye v a I u · a t i o n ,e x D l o r a 止i o ni s s u e s ,c o n s 仃a i n e da n de 划嘲n c e dp o l i c yi t e m t i o n ,p o l i c yo s c i I l a t i o na n dc h a n e r i n g ,a n do p t i I I l i s t i c 如d d i s 砸b u t e dp o l i c vi t e 瑚l i o n .O u rd i s c u s s i o no fp o l i c ye v a l u a t i o ni sc o u c h e di ng e n e r a lt e m sa n da i m st ou n i f y 山ea v a i l a b l e m e 山o d si nt t l el i g h to fr e c e n tr e s e a r c hd e v e l o p m e n t sa n dt oc o m p 硼_ em et w om a i np o l i c ye v a l u a t i o na p p r o a c h e s :p r o j e c t e d e q u a t i o n sa I I dt e I n p o r a ld i n .e r e n c e s ( T D ) ,a n da g g r e g a t i o n .I I l 山ec o n t e x to f 山e s ea p p m a c h e s ,w es u n ,e ym r od i f f .e r e m t v p e so fs i m u l a n o n - b a s e da l g o r i m m s :m a t r i xi n v e r s i o nm e t h o d s ,s u c ha sl e a s t —s q u a r e st e m p o r a ld i f f b r e n c e ( L S T D ) ,柚d i t e r a t i v em e t h o d s ,s u c h 鹊l e a s t .s q u a r e sp o l i c ye v a l u a t i o n ( L S P E ) a n dT D ( A ) ,a n d 山e i rs c a l e dv a r i a n t s .W ed i s c u s sar e c e n t m e m o d ,b a s e do nr e g r e s s i o na n dr e 譬:l l l a d z a t i o n ,w h i c hr e c t i f i e st h eu n r e l i a b i l i t yo fL S T Df b rn e a r l ys i n g u l a rp r o i e c t 耐 B e l l m a ne q u a t i o n s .A ni t e r a t i v ev e r s i o no fm i sm e t t l o db e l o n g st ot h eL S P Ec l a s so fm e t h o d s 柚dp m v i d e sm ec o n n e c t i n g l i n kb e t W e e nL S T D 锄dL S P E .o l l rd i s c u s s i o no fp o l i c yi m p r o v e m e n tf o c u s e so nt l l er o l eo fp o l i c yo s c i l l a t i o na n di t se f 彳酏t o np e r f b m l a n c eg u a r a n t e 霉s .W ei U u s 仃a t e 山a tp o l i c ye v a l u a t i o nw h e nd o n eb y 山ep m i e c t e de q u a t i o I l /T Da p p r o a c hm a y l e a dt op o h c Vo s c i U a t i o n ,b u tw h e nd o n eb ya g g r e g a t i o ni td o e sn o t .T h i si m p l i e sb e n e re r r o rb o u n d s 锄dm o r er e g u l a r p e r f o n n a n c ef o ra g g r e g a t i o n ,a tt l l ee x p e n s eo fs o m el o s so f 叠e n e r a l i t yi nc o s tm n c t i o nr e p r e s e n t a t i o nc a p a b i l i t y .H 棚 a g g r e g a t i o np m v i d e st t l ec o n n e c t i n gl i n kb e t w c e np r o j e c t e de q u a l i o n 厂r D - b a s e d 锄da g g r e g 撕o n _ b a s e dp o l i c ye v a l u a t i o n , 柚di sc h 棚t c r i z e db yf a v o m b l ee r r o rb o u n d s . 1 ‘e ,w o r d s :D y n a I I l i cp r o 伊础g ;P o u c yi t e f a i i ∞;P r o j e c t e de q u a t i o n ;A g g r c g a t i ∞;C h a t t c 血g ;R e g I l l a r i z a l i ∞ lI n t r o d u c t i O n I nm i sp a l ) e r ,w ea i mt os u r v e ya n dp l a c ei nb r o a dc o n t e x t an u m b e ro fi s s u e sr e l a t i n gt oa p p r o x i m a t ep o l i c yi t e r a t i o n m e m o d sf o rf i n i t e - s t a t e ,d i s c r e t e —t i m e ,s t o c h a s t i cd y n 砌c p r o g r a m m i n g ( D P ) p r o b l e m s .T h e s em e m o d sa r eo n eo fm e m a i o ra p p r o a c h e sf o ra p p r o x i m a t eD 只af i e l dt l l a th 硒a t — t r a c t e ds u b s t a n t i a lr e s e a r c hi n t e r e s ta I l dh a Saw i d er a n g e o fa p p h c a t i o n s ,b e c a u s eo fi t sp o t e n t i a lt oa d d r e s sl a r g e a n dc o m p l e xp r o b l e m sm a tm a yn o tb e 廿e a t a b l ei no t t l e r w a y s .A m o n gr e c e n tw o r l 【si nt t l ee x t e n s i V er e l a t e dl i t e r a . t I l r e ,w er I l e n t i o nt e x t b o o l 【s 锄dr e s e a r c hm o n o g r a p h s :B e r t . s e k a s 加dT s i t s i k h s [ 1 】,S u n o na I l dB a r t o 【2 】,G o s a v i 【3 】, C a o [ 4 】,C h a n g ,F u ,H u ,狮dM a r c u s 【5 】,M e y n 【6 】,P o w — e Uf 7 1 ,B u s o l l i u ,B a b u s k a ,D eS c h u t t e r ' a r I dE m s t 【8 】,柚d t l l ea u t t l o r ,st e x ti I lp r e p a r a t i o n 【9 】;e d i t e dv o l u m e sa n ds p e — c i a li s s u e s :W 1 l i t ea n dS o f g e 【l O 】,S i ,B a r t o ,P c l w e l l ,a T l d W u n s c h 【1l 】,L e w i s ,L e n d 抓s ,觚dL i u [ 1 2 】,柚d 吐l e2 0 0 7 — 2 0 0 9P r o c e e d i n g so ft h eI E E ES y m p o s i u mo nA p p r o x i m a t e D y n 枷cP r O g r a m m j n ga n dR e i n f o r c e m e n tL e a n l i n g ;a n d s u n r e y s :B a n o ,B r a d t k e ,卸dS i n g h [ 1 3 】,B o r k a r 【1 4 】,L c 州i s a n dV r a b i e 【1 5 ] ,a n dS z e p e s v a r i 【1 6 】. F o ra no v e r v i e w0 fp o l i c yi t e r a t i o nm e t I l o d s ,l e tu s 胁 c u so nt l l en - d i s c o u n t e dn - s t a t eM a r k o v i a I ld e c i s i o np r o b — l e m ( M D P ) w i t I ls t a t e s1 ,⋯,几,c o n 廿o l su ∈【,( t ) a ts t a t e t ,t r a n s i t i o np r o ba _ b i l i t i e sp 巧( 乱) ,a J l dc o s t9 ( t ,乱,J ) f b rt r a n - s i t i o nf r o mit o7u n d e rc o n 仃o l “.A ( s t a t i o n a r y ) p o l i c y “ i saf u n c t i o nf 而ms t a t e sit oa d m i s s i b l ec o n t r o l st 上∈U ( 主) , 锄d 厶( 主) i st l l ec o s ts t a n i n gf r o ms t a t e 主a I l du s i n gp o l i c y 肛. I ti sw e l ll ( I l o w n ( s e e ,e .g .,P u t e 哪a I l 【1 7 】o rB e n s e l 【a s 【1 8 】) t l l a t t t l e c o s t s 以( 主) ,{ = l ,⋯,n ,a r e t l l e u I l i q u es o l u t i o n o f B e l l m a n ’se q u a t i o n n 以( i ) = ∑p 巧( p ( i ) ) ( 9 ( t ,p 0 ) ,歹) + n 以( 歹) ) , J = 1 l = 1 ,⋯,n . E q u i V a l e n t l y ’t I l eV e c t o r 山∈郧,w t l i c hh a sc o m p o n e n t s 以( t ) ,1i s t h e 吼i q u e f i x e d p o i m o f Ⅱl e m a p p i n g 死:R ”H R ”,w h i c hm a p sJ ∈R “t 0t h ew 圮t o rL J ∈R “山a th 勰 c o m p o n e n t s ( 死J ) ( { ) = ∑p 玎( 芦( t ) ) ( 9 0 ,p “) ,J ) + Q J 0 ) ) , J = l i = 1 ⋯.,竹.( 1 ) S i I I l i l 棚y ' t l l eo p t i m a lc o s t ss t a n i n gf 而mt = 1 ,⋯,n , a r ed e n o t e dJ + ( 云) 锄da r et l l eu I l i q u es o l u t i o no fB e l l m 蚰’s e q u a t i o n ,( ‘) 2 瑞) §p 巧( u ) ( 9 ( ‘,u ,歹) + Q ,( 跏, t = 1 ,⋯,n . R e c e i v e d7J 锄u a r v2 0 1 1 . T I l i sw o r kw 髂s u p 呻t c db ym eN a l i o l l a lS c i 即c cF 如n d a 吐∞( N o .E C C S 加8 0 1 5 4 9 ) ,m eL A N LI n 衙m a t i o nS c i e n c e 龃d 钕h ∞l o g yI n s t i n l 蛾锄dm e A i rF o r c e ( N o .F A 9 5 5 0 .1 0 一l —0 4 1 2 ) . 1I I lo u rn o 协t i O n ,R t li st l l en —d i m e n s i o n a lE 沁c l i d c a ns p a c e ,a l lv e c t o r si nR na 坞v i 删嶂da sc o l u m v l 譬t o 娼,锄dap I i r n ed e n o t c st r a l I s p O s m o n .T k i d e n t i t ym 撕xi sd e n o t e db y ,. @ s o u t I lC h i I mU l l i v e 陪时o f1 k b l l o I o g ya n dA c a d e m y0 fM a n 抡m a t i c s 如ds y s 魄璐s c i e n c c ,C A s 锄ds 曲n g e r - V 硎a gB e d i nH e i d c I b c r g2 0 1 1 万方数据 —D .P B 职7 S E ^ 0 4 S /.,C 白,l f ,移f Z 7 l P D ,) ,A 即Z2 0 1 19 ( 3 ) 3 l O —- 3 3 5 E q u i v a l e n t l y ' m eo p t i m a lc o s tV e c t o rJ + ∈R n ,w h i c hh a s c o m p o n e n t sJ ’( i ) ,i st h eu n i q u ef i x e dp o i n to fm e 皿l p p i I l g T :Ⅱ之n - - 寸Ⅱ℃nd e 6 n e d b y ( T 删2 忠) 暑仇J ( 札) ( 9 ( ‘,Ⅱ,卅+ n J ( 踟, l = 1 ⋯.,仃.( 2 ) A ni m p o 栅tp r o p e r t yi st 1 1 a tTi sas u p —n o r I l lc o n 仃a c t i o n , s om ei t e r a t i o n ∥+ 1 = 丁t ,‘c 伽v e 唱e st o ∥f r o ma I l y s t a n i n gp o i n tJ o —t t l i si sl ( I l o w na sv a l u ei t e r a t i o n . P o l i c vi t e r a t i o ni sam a i o ra l t e m a t i v et ov a l u ei t e r a t i o n . I t 删u c e sas e q u e n c eo fp o l i c i e sa n da s s o c i a t e dc o s tf u n c — t i o n st h r o u 曲i t e r a t i o n st h a th a v et w op h a s e s :p 0 1 i c ye v a l u — a t i o n ( w h e r et h ec o s tf u n c t i o no fap o l i c yi se v a l u a t e d ) 柚d p o l i c vi m p m v e m e n t ( w h e r ean e wp o l i c yi sg e n e r a t e d ) .I n t I l ee x a c tf o 咖o ft h ea l g o r i t h m ,t 1 1 ec u r r e n tp o l i c y 弘i si m — p r o v e db yf i n d i n g 皿m a ts a t i s I i e s %以= T 山( i .e .,b y I I l i n i I I l i z i n gi nm er i g h t - h a n ds i d eo fe q u a t i o n ( 2 ) w i t l l 以i n p l a c eo fJ ) .T h ei m p m v e dp o l i c y 口i se V a l u a t e db ys o l V i n g t I l el i n e a rs y s t e mo f c q u a t i o n s 厶= %厶,a J l d ( 如,口) b e — c o m e sm en e wc o s tv e c t o f .p o h c yp a 址w l l i c hi su s e dt os t a n an e wi t e r a t i O n . I nav 撕a n to ft h em e t h o d ,t h ei m p r o v e dp o l i c y 肛i se v a l — u a t e db y 印p l y i n g %a6 n i t en u m b e ro ft i m e st oa 1 1a p p m x i - m a t ee v a l u a t i o no ft l l ep r e c e d i n gp o l i c yp ,w h i c hw ed e n o t e b y 一。.T h i si sk n o w na s ‘o p t i 而s t i c ’o r ‘m o d i 6 e d ’p o l i c y i t e r a t i o n ,a n di t sm o t i v a t i o ni st | l a t ,i np r o b l e m sw i t t lal a 唱e n u m b e ro fs t a t e s ,t t l el i n e a rs y s t e m 厶= Z ;厶c a I l I l o tb e p r a c t i c a l l Vs o l v e dd i r e c n yb ym a t r i xi n v e r s i o n ,s oi t i sb e s t s o l v e di t e r a t i v e l yb yv a l u ei t e r a t i o n ,m a ti s ,b yr e p e a t e da p _ p l i c a t i o no f 正lt os o m ei n i t i a lv e c t o r ( m o s tc o I Ⅳe I l i e n t l yt t l e v e c t o f 以) .I fm en u m b e rm o fa p p l i c a t i o n so f %i sV e r y l a r g e ,m ee x a c tf o 衄o fp o l i c yi t e r a t i o ni se s s e n t i a l l yo b - t a i n e d 。b u tp r a c t i c eh a ss h o w n t h a ti ti sm o s te f f i c i e n tt ou s e am o d e r a t ev a l u eo fm .I I lt t l i sc a s e ,t h ea l g o r i t №l o o l 【sl 妇 ah y b r i do fv a l u ea n dp o l i c yi t e r a t i o n ,i n v o l v i n gas e q u e n c e o fa l t e m a t ea p p l i c a t i o n so fTa n do ,w i t l lpc h a I l g i n go V e r t i m e . I ti sw e Uk n o w nt t l a tt h ee x a c tf o n I lo fp o l i c yi t e r a t i o n c o n V e 唱e st oa I lo p t i m a lc o s t - p o l i c yp a i rf o ra I l yi I l i t i a lc o n - d i t i o n sf i l laf i I l i t en u m b e ro fi t e r a t i o n sw h e nm en u m b e ro f p o l i c i e si sf i I l i t e ,a si nt h ed i s c o u n t e dM D P ) .1 ’h ec o n V e 卜 g e n c eo fo p t i n l i s t i cp o l i c yi 哆枷o ni sm o r e 触垂l e 蚰d p ’ q u i r e st t l a tt l l ei n i t i a lp a i r ( 厶o ,矿) s 撕s f y 死。山o ≤以o , w h e ni m p l e m e n t e di na s y n c h r o n o u sf o 珊( i r r e g u l a r l y ' o n e s t a t ea tat i m e ) ;s e e 、矾l l i 锄s 锄dB a 硼【1 9 】,o rS e c t i o n 1 .3 .3i I l 【1 8 】.2S i n c es i m u l a t i o n - b a s e dp o l i c yi t e r a t i o na l g o — r i t №sa r e 谚p i c a l l ya s y n c h r o n o u s ,t t l i sr e s t r i c t i o nh a sm o — t i v a t e da l g o r i t | l m i cm o d i 6 c a t i o n sw i t hg u a r 卸魄dc o n V e r - g e n c ef 而ma I .b i 仃a r yi n i t i a lc o n d i t i o n s ,w h i c hw i l lb ep a n l y d i s c u s s e di nS e c t i o n3 .8 . 3 1 1 1 .1 P O l i c yi t e 阳t i o nm e t h o d s 诵也c 髑tf u n c 6 0 na p p m x - i m a t i o n I np o l i c yi t e r a t i o nm e m o d sw i t hc o s tf u n c t i o na p p m x i m a — t i o n ,w ee v a l u a t epb y 印p r o x i m a t i n g 以w i t haV e c t o r 疹q 讯) mt l l es u b s p a c eSs p a n n e db yt t l ec o l u 砌so f 卸n ×s m a t r i x 圣,w h j c hm a yb ev i e w e d 舔b a s i sf u n c t i o n s :3 S = { 西r I r ∈R 8 } . W 色g e n e r a t e 卸‘i m p r o V e d ’p o l i c y 豇u s i n gn l ef o m u l a %( 多%) = T ( 痧%) ,i .c ., 刖∈擞。现) 暑p 巧( u ) ( 9 ( i ,乱,卅。Q 蚓咻 i = l ⋯.,n ,( 3 ) w h e r e 西( ,) 7i st h er o wo f 空t 1 1 a tc o r r e s p o n d st os t a t e 歹( t l l e m e t h o d t e n 试n a t e s w i t h p i f 耳( 圣r p ) = T ( 空~) ) .W em e n r e p e a t w i m pr e p l a c e db y 皿. I nt l l i s p a p e r ,f o rg e n e m l i t ya n dn o t a t i o n a ls i m p l i c i 吼 w ec o n s i d e rM D Pw h e r ef o re a c hp o l i c yp ,t l l em a p p i n g 兄:R “HR ”h a st h ef o 衄 孔t ,= 乳+ 钆‘, ( 4 ) f o rg i v e n 礼×几m a t r i xA pw i mn o n n e g a t i V ec o m p o n e m s o 巧( p ( i ) ) 锄dV e c t o r 乳∈酞“w i mc o m p o n e n t s 乳( i ) . T h eQ —d i s c o u n t e dn - s t a t eM D Pi st h es p e c i a lc a s ew h e r e A “= a 兄,w i t l l 气b e i n gt h em a t f i xo f t r 彻s i t i o np r o b a b i l — i t i e s 阢J ( p ( t ) ) c o r r e s p o n d i n gt op ,a n d9 pn l eV e c t o rw i m t t h c o m p o n e n t 甄( { ) = ∑p 巧①( { ) ) 9 ( t ,p ( i ) ,J ) ,t h ee x p e c 自e d j = l o n e - s t a g ec o s ta ts t a t eiu n d e rc o n 仃o lp ( { ) .I np o l i c yi t e r a - t i o nw i t hc o s tf u n c t i o n 印p r o x i m a t i o n ,w ec o m p u t ea p p r o x — i m a t i o n s 空%t 0 山u s i n gs o m ep o l i c ye V a l u a t i o nm e m o d , a n dw eu s et h e mt oc o m p u t en e wp o l i c i e sb a s e do n ( 印一 p m x 加m e ) p o l i c yi I n p r o V e I m n t ,i n 觚a l o g yw i me q u a t i o n ( 3 ) . I I lS e c t i o n2 ,w ef b c u sj u s to nm ea p p r o x i m a t ee v a l u a - t i o no fas i n g l ef l x e dp o h c y 胁s of b rn o t a t i o n a ls i m p l i c i 哆 w ed r o pm es u b s c r i p tpf 如me q u a t i o n ( 4 ) .W et h u sf b c u s o na p p r o x i m a t i o n so fm ef o m 空rf o rm ef i x e dp o i n to ft l l e n I l e a rn l a p p i n g T ,= 9 + A Z ( 5 ) w h e r eAi sa n 竹×nm a 砸xw i t t ln o n n e g a t i v ec o m p o n e n t s n 订孤d9 ∈酞“.S e v e r a la l g o r i m r n i c 印p r o a c h e sh a v eb e e n p r o p o s e df o rt t l i sp u r p o s e .T h em o s tp I 叩u l a ra r e a ) P r o j e c t e de q u 撕o na p p r o a c h :H e r e ,t t l e 印p r o x i m 撕o n 空ri so b t a i n e db ys o l V i n gm ep r o j e c 似Ie q u a t i o n 衍= ⅡT ( 西) , ( 6 ) w h e r e 仃d e n o t e sp r o j e c t i o no n t om es u b s p a c eS .T h ep r o — j e c t i o ni sw i t l lr e s p e c tt oaw e i g h t e dE u c l i d e a nn o 咖| | ·忆, w h e r e ∈= ( ∈1 ,⋯,矗) i sap r o b a b i l i t yd i s t f i b u t i Q nw i t l l 2 c ∞v e r g e n c e0 f 叩t i m i s t i c p 0 I i c y i t e r a t i o n i so b t a i n e d f b r 吐地d i s c o 叫锄M D E 诵山o u t t l l e c o n d i 廿o n 气。厶o ≤厶o ( s e e p a g e 8 8o f 【1 8 】) .H d w e V 盯' t h i si sn o ts ou n d e ra s y n c h r o n o u si m p l e m e n t a t i o ns . 3W e f b c u so n1 i n e 卅s u b s p a c ec o s tf u n c t i o n 印p m x i m a t i o ni nt l l i sp a p e LN a t 眦ny ' t 1 1 ec h o i c eo fm em a 砸x 西i sc r i t i c a lf b re 行&t i v ep o l i c ) ,e v a l u a t i o n . T h e t t l lr a w o f 于c o n s i s
展开阅读全文
  皮皮文库所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
0条评论

还可以输入200字符

暂无评论,赶快抢占沙发吧。

关于本文
本文标题:approximate policy iteration a survey and some new methods.pdf
链接地址:http://www.ppdoc.com/p-10934377.html
关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服客服 - 联系我们

copyright@ 2008-2018 皮皮文库网站版权所有
经营许可证编号:京ICP备12026657号-3 

收起
展开