Η ομάδα ιδρύθηκε επίσημα το έτος 2003 έπειτα από συγχώνευση των χωριών στην περιοχή Καραγιαννίων και εκκολάφτηκε από την μέχρι τότε ομάδα «Μαυραετό Σκήτης». Από την ίδρυσή της έως και σήμερα αγωνίζεται στην Α' Τοπική Κατηγορία της Ε.Π.Σ. Κοζάνης τερματίζοντας πάντα στις ψηλότερες θέσεις.
Το όνομα προέρχεται από τα αρχικά ΑΕΠ όπου σημαίνουν Αθλητική Ένωση Ποντίων και έχει σαν έμβλημα τον αετό.
Η Α.Ε.Π. Καραγιαννίων συμμετείχε σε τρεις τελικούς Κυπέλλου της Ε.Π.Σ. Κοζάνης και έχει κατακτήσει δυο φορές το κύπελλο.
Το 2011-2012 με αντίπαλο την Α.Ε. Περδίκκα, από την οποία ηττήθηκε με σκορ 3-2.
Το 2015-2016 με αντίπαλο τον Μακεδονικό Φούφα, κατέκτησε το Κύπελλο στην διαδικασία των πέναλτι με 5-4, ενώ στην κανονική διάρκεια και στην παράταση το σκορ έμεινε στο 1-1.
Το 2016-2017 με αντίπαλο την ομάδα του ΦΣ Κοζάνης την οποία νίκησε με σκορ 1-0.
Η μεγαλύτερη στιγμή της ομάδας είναι η κατάκτηση του πρωταθλήματος της Επς Κοζάνης την περίοδο 2016-2017 και η άνοδό της στην Γ΄ εθνική κατηγορία.
