Stochastic Gradient Descent on a Portfolio Management Training Criterion Using the IPA Gradient Estimator

Abstract

Dans cet article, nous jetons les bases pour l'apprentissage d'une stratégie de gestion d'un portefeuille de biens, de natures variées, et ne s'appuyant sur aucune supposition quant aux distributions des données financières. Ce modèle, basé sur l'utilisation d'un réseau de neurones, tente de capturer les tendances du marché. De plus, le modèle permet l'introduction d'un bruit stochastique au niveau des prix prévus par le réseau afin d'éviter les maxima locaux dans l'espace de décision. Dans ces conditions, nous démontrons que notre stratégie d'investissement suit un processus de décision markovien qui est presque sûrement lipchitzien en ses paramètres. Ainsi, l'estimateur du gradient IPA, obtenu ici par la méthode classique de rétropropagation, peut être utilisé pour approcher, par une descente de gradient, un maximum local de notre critère d'apprentissage, le Sharpe ratio.

In this paper, we set the basis for learning a multitype assets portfolio management technique relying on no assumptions over the distributions of the financial data. The neural network based model tries to capture patterns in the evolution of the market. Furthermore, the model allows a stochastic perturbation in the asset pricing from the network to avoid local maxima in the decision space. Under those settings, we prove that our investment decision is a Markovian decision process which is Lipschitz continuous almost surely in its parameters. Therefore, the IPA gradient estimator, obtained here by the classical backpropagation algorithm, can be used in a gradient descent procedure to converge to a local maximum of our learning criterion, the Sharpe ratio.