1815 טולון
ז'אן ולז'אן, אסיר מספר 24601, ישב בכלא 19 שנים – 5 שנים על כך שגנב 2 כיכרות לחם כיוון שמשפחתו גוועה ברעב, ועוד 14 שנים כיוון שברח ונתפס. סוהרו היה ז'אבר, לעתיד שוטר קפדן וחסר רגש המאמין בעליונות החוק מעל הכל. כעת הוא משתחרר על תנאי, אך מגלה שהוא אינו אדם חופשי: כרטיס השחרור הצהוב שהוא מחויב להציג על פי חוק מניא את החברה מלבטוח בו, והוא אינו מצליח להתקבל לעבודה או אפילו להשיג לעצמו לינה. מושפל, הוא מגיע לבית הבישוף, והלה מקבל אותו בסבר פנים יפות, מאכיל ומלין אותו. באמצע הלילה גונב ולז'אן את כלי הכסף של מארחו ונמלט. לאחר שנתפס על ידי השוטרים הוא מובל לבית הבישוף, וטוען שקיבל ממנו את הכלים במתנה. לתדהמתו הבישוף משקר עבורו ומאשר את גרסתו, ואף מעניק לו בנוסף פמוטי כסף. ולז'אן נקרע בין הזעם שהוא חש כלפי החברה, שממשיכה להתייחס אליו כאל פושע, לבין טוב הלב והחמלה שגילה כלפיו הבישוף. לבסוף הוא מחליט לצאת לחיים חדשים כאדם ישר והגון, ולצורך כך מגיע למסקנה שעליו להתכחש לעברו. הוא קורע את הכרטיס הצהוב שקיבל ופותח דף חדש.
1823, מונטריי
לאחר שמונה שנים ולז'אן, כעת מסייה מדליין, הוא ראש עיריית מונטריי ומנהל בית החרושת. העוני בעיר גדול, וגם מי שהשיג עבודה מתפרנס בדוחק. פנטין, אחת מעובדות בית החרושת, מגדלת בסתר את בתה קוזט. אביה ניהל עם פנטין רומן קצר ונטש אותה בהריון, ללא אמצעים. היא נאלצת להפקיד את גידול בתה בידי זרים ולצאת לעבוד, ואת עיקר משכורתה היא שולחת לפונדקאי ואשתו שמגדלים אותה. אחד המכתבים שבו הם כותבים לה לשלוח עוד כסף, מתגלה על ידי העובדות, והן דורשות שתפוטר, בעילה שהיא ודאי "משלימה הכנסה" מזנות. מנהל העבודה, שניסה לחזר אחריה ללא הצלחה, לא מהסס ומפטר אותה. פנטין מושלכת לרחוב ועתה נאלצת באמת לעסוק בזנות. כשהיא מסרבת לקבל לקוח עשיר, הוא משפיל אותה ומתפתחת ביניהם תגרה. למקום מגיע השוטר ז'אבר. הוא מאמין ללקוח ואוסר את פאנטין. ולז'אן (מדליין), שאף הוא נקלע למקום, פוקד עליו לקחת אותה לבית החולים כיוון שהיא חולה מאוד. ז'אבר מציית בחוסר שביעות רצון.
בעודם עומדים ברחוב, הם עדים לכרכרה דוהרת ללא שליטה, והיא מוחצת תחתיה אדם. איש מבין עוברי האורח לא מושיט יד מחשש שימחץ. ולז'אן מהסס, אך באין מתנדבים הוא נחלץ לעזרתו ומרים את הכרכרה הכבדה, פעולה הדורשת כוח פיזי רב, דבר שהוא יודע שעלול לעורר את חשדו של ז'אבר. הלה אכן נזכר שהכיר רק אדם אחד חזק כל כך: אסיר 24601, ששבר שחרור על תנאי, ומאז הוא מנסה לאתרו ולהשיבו לכלא. הוא מספר זאת לולז'אן ומוסיף שמלאכתו הושלמה: אותו פושע־נמלט נתפס, ויובא למשפט בקרוב. ולז'אן מתלבט האם להתוודות ולהציל את הנשפט החף מפשע, או להמשיך בחייו הנוכחיים, שבהם הוא מקפיד להיות אדם ישר, בפרט שתושבי העיר ופועלי בית החרושת תלויים בו. לבסוף המצפון מכריעו והוא חושף את זהותו האמיתית בבית המשפט. משם הוא ממשיך היישר לביה"ח, לבקר את פנטין.
פנטין על ערש דווי, הוזה שהיא רואה את קוזט. כשולז'אן נכנס היא מספרת לו עליה והוא מבטיח שידאג לילדה וייקח אותה תחת חסותו. לאחר שהיא מתה בזרועותיו, מגיע למקום ז'אבר, שלא מוכן לוותר ולאפשר לולז'אן להימלט שוב. ולז'אן מסכים להסגיר את עצמו, אך רק לאחר שידאג לקוזט. ז'אבר מסרב להאמין, ובין השניים מפתח עימות. ולז'אן יוצא כשידו על העליונה ונמלט.
הוא מגיע לפונדק של הזוג תנרדייה, מגדליה של קוזט. לזוג בת בשם אפונין שאותה הם מגדלים כנסיכה, ואילו בקוזט הם מתעללים ומשתמשים בה כשפחה. ולז'אן נחרד לגלות את מצבה של קוזט ופודה אותה בכסף רב. הוא לוקח אותה איתו לפריז ומגדל אותה כבתו.