Za lepim i naočitim profesorom iz Sente su, po njegovom dolasku u Pirot, uzdisale mnoge dame. Dve godine službovanja u pirotskoj gimnaziji, gde je od 1881. do 1883. godine predavao srpski jezik, srpsku istoriju i geografiju, bile su dovoljne da kao dvadesetšestogodišnjak napiše svoju prvu pripovetku (“Rastko”), uplovi u političke vode i doživi ljubav koja će ga koštati večite samoće.
Mladi “pisac sa beležnicom” zapao je za oko mnogim udavačama, bogatim miraždžikama iz trgovačkih porodica, južnjačkim lepoticama koje su za njim uzdisale, ali je Sremac svoje simpatije ipak poklonio mladoj šesnaestogodišnjoj Jeleni Pančić. Jelena je bila kćer pirotskog sveštenika Pantelije Pančića. I pred njom u redu su stajali mnogi prosci koji su njenu ruku već zatražili od oca Pantelije, a glavni među njima bio je ugledni ekonom pirotske bolnice i političar Josif Kostić. O njenoj lepoti brujala je cela čaršija, ali je i o Sremčevom krasnom izgledu u mladosti ostao zabeležen trag od strane književnog kritičara Pavla Popovića. Ovako ga je opisao:
Čelo široko, velike oči, brkovi deblji, srpski, crni; lice vazda izbrijano. Kosa brižljivo i originalno očešljana na razdeljak i na “larmu”. Stas srednji, hod gospodski, bez žurbe; vitak, elastičan i prav. Glas malo mutan, smeh sitan, pri čemu su se videli beli očuvani zubi…
Svojom lepotom i harizmom opčinili su jedno drugo, a obostrane simpatije prerasle su u pravu ljubav. Tako se mladi Stevan Sremac odvažio da zatraži Jeleninu ruku od njenog oca, popa Pantelije.
Međutim, presudio je jedan anonimni Sremčev članak…
Politički članak Sremac je bez potpisa objavio u „Srpskoj zastavi“, kritikujući rad upravnih mesnih vlasti. U članku je posebno naglasio da “u Pirotu žare i pale tri Pante, među kojima se jedan u svemu razlikuje samo po tome što se zvanično potpisuje sa Pantelija”. Razume se da je Panelija Pančić, pronašavši se u ovoj prozivci, odlučio da ruku svoje ćerke preda prvom proscu – Josifu Kostiću, političaru Naprednjačke stranke.
Osim što nisu imali sreće da krunišu svoju ljubav brakom, Stevan i Jelena u ljubavi se nisu proslavili ni u kasnijem životu. Lepa Jelena, udata Kostić, imala je vrlo težak život. Sva deca su joj preminula kao vrlo mala, suprug Josif propio je sve što je stekao, pa se Jelena izborila da završi školu i postane babica kako bi se mogli izdržavati od njene plate. Postoji priča da je jednom prilikom, prolazeći beogradskim ulicama, nabasala na Ulicu Stevana Sremca i u tom trenutku iznenađeno i pomalo setno izgovorila: “Evo ulice mog nesuđenog!”
Srpski pisac je nakon ljubavnog kraha premešten u Niš. Jedinu ljubav koju je tamo negovao bila je kafana. I kasnije, kada se skrasio u Beogradu kao već poznati pisac, profesor i boem, mnoge prestoničke dame želele su da ponesu tutulu njegove izabranice. Provodadžije su pokušavale da ga odvrate od kafanskog života i skrase pored “lepše polovine”, ali je Sremac na njihova dosadna insistiranja odgovarao u svom stilu:
Taman posla, ni pomisliti da se ženim. Valjda kad kud izađem da je vodim uza se kao kišobran kad je lepo vreme! More, batalite te kombinacije!
Može biti da se većma Sremcu omrznuo brak od silnih navaljivanja, pa je rešio da ostari za kafanskim stolom, okružen prijateljima i kolegama – piscima, šaleći se i pišući svoje pripovetke, romane i dr. Život je, ipak, završio sam, avgusta 1906. godine u Sokobanji preminuvši od sepse u svojoj 51. godini. Sahranjen je na Novom groblju u Beogradu. Potomstvo je iza sebe ipak ostavio, brojna remek – dela srpske književnosti kojima je ušao u večnost, a među kojima su najpopularnija “Ivkova slava” – 1895, “Pop Ćira i pop Spira” – 1898, “Zona Zamfirova” – 1903. i dr.
