Ο Ξενώνας Λίλα στεγάζεται στο κτίριο του Γαλλικού προξενείου στην Ερμούπολη, ένα αρχιτεκτονικό δημιούργημα του 19ου αιώνα, που αποκαλύπτει την πλούσια ιστορία της Σύρου αλλά και τη γαλλική επιρροή στις Κυκλάδες, καθώς η παρουσία προξενείων εδώ ήταν η υψηλότερη από οπουδήποτε αλλού στον κόσμο σε σχέση με τον πληθυσμό. Η αρχαιότερη μαρτυρία για την ύπαρξη γαλλικού προξενείου στην Ερμούπολη ανάγεται στο 1699.
Από την μελέτη της αρχιτεκτονικής του κτιρίου, εικάζεταιβάσιμα ότι αρχικά επρόκειτο για κατοικία εμπόρου, με κατάστημα στο ισόγειο, που δανείζεται νεοκλασικά στοιχεία από τα αρχοντόσπιτα της συνοικίας των Βαποριών. Τα ανοίγματα, οι ανεξάρτητες είσοδοι, οι μαρμάρινοι εξώστες, τα υπέρθυρα, όλα του προσδίδουν μια ιδιαίτερη «προσωπικότητα».
Πρόκειται γιαμοναδικό παράδειγμα τυπολογίας διόροφου κτιρίου με στοά στην ευρύτερη περιοχή, και μάλιστα τόσο κοντά στο λιμάνι. Δεν είναι εξακριβωμένο πότε ακριβώς χτίστηκε,αλλά η μορφολογία και η δομή του «δείχνουν» την περίοδο 1860-1880.
