ZEMCH 2019 International Conference Proceedings April.2020 | Page 368

for computer vision‐based machine learning is suggested. A method of extracting location information 
from  metadata  included  in  a  digital  photograph  and  matching  it  to  an  object  in  BIM  model  is  also 
clarified. Finally, the authors discuss how the extracted information can be utilized after inputting as 
an attribute value in BIM data.         
2.1. Construction Activity Recognitino Using CNN Models 
2.1.1. Data Collection 
With a recent development of computer technologies, machine learning using computer vision has 
been  applied  to  construction  industries.  As  well  as  the  usage  of  photographs,  recognizing  the 
movement  of  construction  equipment  or  worker  and  utilizing  data  for  work‐efficiency  and  safety 
management have been becoming nonspecial [12‐14]. In order to apply computer vision‐based machine 
learning technology, it is inevitable to collect the appropriate amount of data and train a model.       

Figure 1. The framework of project progress monitoring using digital images and BIM data: (a) CNN model 
development; (b) extraction object’s information of location, WBS, and progress status; (c) updated 4D BIM data 

With an aim of conducting the initial experiment efficiently, the subjects of the experiment in this 
research are confined as vertical structural building elements ‐concrete wall, masonry wall, wall tile 
and drywall‐. The main two sources of image collection were actual construction project documents 
and the opened source of images and video clips. These images were subjected to a data pre‐processing 
step of classifying and labeling as two level of Work Breakdown Structure (WBS) and their work status. 
The total number of collected data as per each WBS is shown in Table 1. Experimented sources in the 
dataset were originally classified as a vertical building structure of wall, and then sorted as the first 
WBS of structural wall and architectural wall. And then categorized again along their materials, which 
are concrete wall, masonry wall, tile wall, and drywall.                 

357
ZEMCH 2019 International Conference l Seoul, Korea