O ΠΑΟΚ είναι η ιστορική συνέχεια του Κωνσταντινουπολίτικου αθλητικού και πολιτιστικού Σωματείου «Ερμής», που δημιουργήθηκε από Ρωμιούς της Πόλης το έτος 1875, στην καρδιά της Κωνσταντινούπολης - το Πέρα. Η ανάγκη των Ρωμιών να εκφράσουν και να υποστηρίξουν τον Ελληνισμό τους μέσα στην Τουρκία, τους ώθησε στη δημιουργία του εν λόγω σωματείου. Το 1923 μετά τη Μικρασιατική καταστροφή και τη δραματική προσφυγιά των Ρωμιών της Ιωνίας - αλλά και ολόκληρης της Τουρκίας - οι Ρωμιοί της Πόλης μετονομάζουν το Σωματείο τους από Ερμή σε Περακλούμπ, σύμφωνα με το καινούργιο Σύνταγμα που θεσπίζεται από τον Κεμάλ. Παρόλο το πλήγμα που δέχεται ο Ελληνισμός - ο οποίος αναγκάζεται να πάρει το δρόμο της προσφυγιάς εγκαταλείποντας τις πατρογονικές του κοιτίδες - η Περακλούμπ δίνει τις μάχες της και τις κερδίζει όσο υπάρχουν Ρωμιοί στην Πόλη. Σαρώνει τα Κύπελλα, αποδεικνύοντας ότι αν και μειονότητα οι Ρωμιοί εξακολουθούν να έχουν ηχηρό παρόν στον αθλητικό τομέα. Αυτό όμως δεν κρατάει για πολύ και οι περισσότεροι αναγκάζονται να φύγουν, αφήνοντας πίσω τους μια ομάδα Κωνσταντινουπολιτών, τα επονομαζόμενα «Πολιτάκια». Εγκαθίστανται στη Θεσσαλονίκη και εν έτει 1926 ιδρύουν τον Πανθεσσαλονίκειο Αθλητικό Όμιλο Κωνσταντινουπολιτών (Π.Α.Ο.Κ.), κρατώντας τα σύμβολα της κραταιάς ρωμιοσύνης - το Δικέφαλο του Βυζαντίου - αλλά για χρώματα διαλέγουν το πένθιμο μαύρο (για να συμβολίζει την τραγική ιστορία της Ρωμιοσύνης) αλλά και το αισιόδοξο λευκό που θα τους άνοιγε ένα παράθυρο στο μέλλον - και θα συμβόλιζε τον αγώνα για το αύριο και τις νίκες που θα κατακτούσαν. Αυτή η ιστορία τον καθιστά ουσιαστικά ως ένα από τα αρχαιότερα αθλητικά σωματεία με βαριά παρακαταθήκη ιστορίας!
Το πρώτο καταστατικό του συλλόγου εγκρίθηκε στις 20 Απριλίου 1926, με απόφαση του Πρωτοδικείου Θεσσαλονίκης (αριθμ. 822). Ουσιαστικά όμως ο ΠΑΟΚ είχε ιδρυθεί ένα χρόνο νωρίτερα, όταν έλαβε μέρος στο πρωτάθλημα Θεσσαλονίκης και υποβιβάστηκε στη Β΄ Κατηγορία, υποβιβασμός που ανάγκασε τους ιδρυτές του ΠΑΟΚ να ενισχύσουν την ομάδα.
Το πρώτο έμβλημα του ΠΑΟΚ (1926) ήταν το τετράφυλλο τριφύλλι και το πέταλο. Τα φύλλα ήταν πράσινα και πάνω από το καθένα ήταν χαραγμένα τα αρχικά της λέξης ΠΑΟΚ. Το σκέφτηκε ο αείμνηστος Κώστας Κοεμτζόπουλος που πήρε την ιδέα από το πακέτο τσιγάρων που κάπνιζε.
Τα ιδρυτικά μέλη ήταν: Α. Αγγελόπουλος, Α. Αθανασιάδης, Κ. Αναγνωστίδης, Μ. Βεντουρέλλης, Φ. Βυζάντιος (β΄ πρόεδρος), Α. Δημητριάδης, Δ. Δημητριάδης, Ν. Ζουμπουλίδης, Μ. Θεοδοσιάδης, Θ. Ιωακειμόπουλος, Π. Καλπακτσόγλου, Θ. Καρτσαμπέκης, Δ. Κοεμτζόπουλος, Κ. Κοεμτζόπουλος, Π. Κοντόπουλος, Κ. Κρητικός, Μ. Κωνσταντινίδης, Π. Μαλέτσκας, Ι Νικολαίδης, Λ. Παπαδόπουλος, Φ. Σαμαντζόπουλος, Θ. Τσούλκας, Μ. Τσούλκας, Σ. Τριανταφυλλίδης, Τ. Τριανταφυλλίδης (που ήταν και ο πρώτος πρόεδρος).
Το πρώτο διοικητικό συμβούλιο του ΠΑΟΚ 1926-1927 αποτελούνταν από:
1.) Πρόεδρος: Τ. Τριανταφυλλίδης,
2.) α' αντιπρόεδρος: Π. Καλπακτσόγλου,
3.) β' αντιπρόεδρος: Αθ. Αθανασιάδης,
4.) γενικός γραμματέας: Κ. Κρητικός,
5.) Ειδικός Γραμματέας, Μ. Τσούλκας,
6.) ταμίας: Θ. Ιωακειμόπουλος,
7.) έφορος ποδοσφαίρου: Α. Αγγελόπουλος,
8.) σύμβουλοι: Μ. Κωνσταντινίδης και
9.) Σ. Τριανταφυλλίδης.