Воплощать в музыке легенду о Садко Римский-Корсаков начал ещё в 1867 году, когда написал симфоническую поэму под одноимённым названием. Темы из этого сочинения впоследствии вошли в оперу.
В 1880-е годы композитор несколько раз задумывался над воплощением этого сюжета в виде оперы. Весной 1894 года он получил письмо от Николая Финдейзена, в котором тот убеждает его написать оперу на сюжет «Садко» и предлагает ему первоначальный план либретто. В дальнейшем план разрабатывался при участии Василия Ястребцева, Николая Штрупа, Владимира Стасова и самого Римского-Корсакова. Тогда же началось создание музыки. В процессе работы над оперой началось сближение Римского-Корсакова и либреттиста В. И. Бельского, в будущем — его близкого друга и постоянного сотрудника.