All Issue

2025 Vol.31, Issue 2 Preview Page
Exploring the Precision and Extraction Methods of Geographical Place Names Using ChatGPT with the Journals of the Korean Association of Regional Geographers and the Korean Geographical Society

ChatGPT를 활용한 지명 데이터 추출 및 정확성 탐색
- 한국지역지리학회와 대한지리학회를 사례로 -

신대용1 · 김영훈2

Shin, Dae Yong1 · Kim, Young Hoon2

1제1저자, 한국교원대학교 지리교육과 박사과정
2교신저자, 한국교원대학교 지리교육과 교수
1First Author, Ph.D. candidate, Department of Geography Education, Korea National University of Education
2Corresponding Author, Professor, Department of Geography Education, Korea National University of Education
31 May 2025. pp. 424-443
PDF Citation
Abstract
This study proposes a methodology for recognizing and extracting toponyms (place names) from natural language texts using large language models (LLMs), and evaluates its accuracy and practicality compared to conventional text mining methods. To this end, toponyms were extracted from the titles, abstracts, and keywords of articles published in the Journal of the Korean Association of Regional Geographers and the Journal of the Korean Geographical Society using the ChatGPT API. The model applied few-shot prompting, parameter fine-tuning, and iterative computation to enhance recognition accuracy and response consistency. As a result, the approach achieved over 90% accuracy and more than 97% response consistency, and effectively identified context-dependent ambiguous toponyms such as “Goryeong.” Furthermore, frequency analysis of extracted toponyms revealed spatial differences in research focus, with the Journal of KARG concentrating on the Daegu region and the Journal of KGS focusing on Seoul and the capital area. This approach offers a novel framework for automatically extracting toponyms from diverse texts and quantitatively analyzing regional research trends without the need for qualitative review.
Keywords
large langugage model
ChatGPT
toponym
toponym search
extraction precision
본 논문은 대규모 언어 모델(LLM)을 활용한 자연어 텍스트에서의 지명 인식 및 추출 방법론을 제안하고, 기존 텍스트마이닝 방식과 비교하여 그 정확성과 실용성을 평가한 연구이다. 이를 위해 ChatGPT API를 활용하여 한국지역지리학회지와 대한지리학회지에 게재된 논문의 제목, 초록, 키워드로부터 지명을 추출하였다. 모델에는 Few-shot 프롬프팅, 파라미터 조정(fine-tuning), 반복 연산(iterative computation)을 적용하여 지명 인식 정확도와 응답 일관성을 향상시켰다. 분석 결과, 평균 90% 이상의 정확도와 97% 이상의 응답 일관성을 기록하였으며, ‘고령(Goryeong)’ 등 문맥 해석이 필요한 모호한 지명도 효과적으로 분류하였다. 또한 연구 지역 빈도 분석을 통해 대구권 중심(한국지역지리학회지)과 서울·수도권 중심(대한지리학회지)의 연구 경향의 공간적 차이도 확인하였다. 본 연구는 정성적 검토 없이 다양한 텍스트에서 지명을 자동 추출하고, 지역 연구 경향을 정량적으로 분석할 수 있는 새로운 프레임워크를 제시했다는 점에서 의의가 있다.
키워드
대규모 언어 모델
ChatGPT
지명
지명 탐색
추출 정확성
References
  1. 감미아·송민, 2012, 텍스트 마이닝을 활용한 신문사에 따른 내용 및 논조 차이점 분석, 지능정보연구, 18(3), 53-77.
  2. 강진구, 2019, 텍스트마이닝 기법을 통해 본 <다문화콘텐츠연구>의 연구 경향 분석, 다문화콘텐츠연구, 32, 331-356. 10.15400/mccs.2019.12.32.331
  3. 김갑철·노현종, 2019, 토픽모델링을 활용한 국내 지역지리교육 연구 동향 분석, 사회과교육, 58(4), 49-67. 10.37561/sse.2019.12.58.4.49
  4. 김병선·정민우·전상은·신동빈, 2015, 키워드 네트워크 분석을 이용한 지리공간정보의 글로벌 연구 동향 분석, 한국공간정보학회지, 23(1), 69-77. 10.12672/ksis.2015.23.1.069
  5. 노승용, 2006, 델파이 기법 (Delphi Technique): 전문적 통찰로 미래예측하기, 국토, 53-62.
  6. 박삼옥, 2005, 한국의 지리학연구 60년 회고와 전망, 대한지리학회지, 40(6), 770-788.
  7. 박선일·배선학, 2018, 텍스트 분석 기법을 활용한 DMZ 연구 동향 분석, 한국지역지리학회지, 24(3), 406-417. 10.26863/JKARG.2018.08.24.3.406
  8. 박순만·이호진·정은상·유승동·남영우·지규현, 2022, 『주택연구』의 30년간 연구경향: 텍스트 마이닝 접근법, 주택연구, 30(3), 179-201. 10.24957/hsr.2022.30.3.179
  9. 박주섭·홍순구, 2016, 텍스트마이닝 기법을 활용한 부산시 지역혁신정책 동향분석, 지방정부연구, 20(1), 1-20. 10.20484/klog.20.1.1
  10. 우현지·김영훈, 2017, 토픽 모델링을 이용한 트위터 데이터의 공간 분포 패턴 분석, 한국지역지리학회지, 23(2), 376-387. 10.26863/JKARG.2017.05.23.2.376
  11. 이유빈·이영호·성정창·애나 스타네스쿠·지상훈·황철수, 2020, 계량적 모델을 통한 지리학 연구의 최신동향 및 토픽 분석, 대한지리학회지, 55(6), 589-599.
  12. 이의한·배선학, 2019, 데이터 마이닝을 활용한 지리교육의 연구 동향 분석: 텍스트 마이닝의 적용 가능성을 중심으로, 한국지리학회지, 8(3), 363-375. 10.25202/JAKG.8.3.3
  13. 이희연, 1993, 우리나라 정보관련직종의 공간적 분포와 지역적 격차에 관한 연구, 지역연구, 9(1), 3-24.
  14. 임시영·이미숙·진기호·신동빈, 2014, 텍스트마이닝 기술을 이용한 공간정보 분야의 연구 동향에 관한 고찰 - 국가연구개발사업 보고서 및 논문을 중심으로, 한국공간정보학회지, 22(4), 11-20. 10.12672/ksis.2014.22.4.011
  15. 정해용, 2019, 언어 네트워크 분석을 활용한 접경지역 이미지 분석, 한국지역지리학회지, 25(1), 150-162. 10.26863/JKARG.2019.02.25.1.150
  16. 지상현, 2012, 지명의 정치지리학, 한국지역지리학회지, 18(3), 310-325. 10.1007/s11036-012-0423-x
  17. 최용석·백승철·권혁인, 2008, 델파이기법을 이용한 U-city 사업의 핵심성공요인 도출, 인터넷전자상거래연구, 8(3), 183-209.
  18. 최조순·강병준. 2013. 사회적 기업의 지역별 분포에 관한 탐색적 연구, 지역발전연구, 22(1), 119-142.
  19. 현기순, 2022, 지속가능성에 대한 지리학의 연구 동향 분석-토픽모델링과 키워드 네트워크 분석을 중심으로, 대한지리학회지, 57(1), 1-17.
  20. Cheng, S.W., Chang, C.W., Chang, W.J., Wang, H.W., Liang, C.S., Kishimoto, T., Chang, P.C., and Kuo, S.K.P., 2023, The now and future of ChatGPT and GPT in psychiatry, Psychiatry and clinical neurosciences, 77(11), 592-596. 10.1111/pcn.13588 37612880 PMC10952959
  21. Gorraiz, J., Gumpenberger, C., and Glade, T., 2016, On the bibliometric coordinates of four different research fields in Geography, Scientometrics, 107(2), 873-897. 10.1007/s11192-016-1864-y 27122649 PMC4833813
  22. Gregory, I., Donaldson, C., Murrieta-Flores, P., and Rayson, P., 2015, Geoparsing, GIS, and textual analysis: current developments in spatial humanities research, International Journal of Humanities and Arts Computing, 9(1), 1-14. 10.3366/ijhac.2015.0135
  23. Hochmair, H.H., Juhasz, L., and Kemp, T., 2024, Correctness comparison of ChatGPT-4, bard, claude-2, and copilot for spatial tasks, Transactions in GIS, 1-13. 10.1111/tgis.13233
  24. Hu, X., Zhou, Z., Li, H., Hu, Y., Gu, F., Kersten, J., Fan, H., and Klan, F. 2023. Location reference recognition from texts: A survey and comparison, ACM Computing Surveys, 56(5), 1-37. 10.1145/3625819
  25. Hu, X., Kersten, J., Klan, F., and Farzana, S.M., 2024, Toponym resolution leveraging lightweight and open-source large language models and geo-knowledge, International Journal of Geographical Information Science, 1-28. 10.1080/13658816.2024.2405182
  26. Ji, Y. and Gao, S., 2023, Evaluating the effectiveness of large language models in representing textual descriptions of geometry and spatial relations, in Proceedings of the 12th International Conference on Geographic Information Science, Leeds, UK, 1-6.
  27. Juhász, L., Mooney, P., Hochmair, H., and Guan, B., 2023, ChatGPT as a mapping assistant: A novel method to enrich maps with generative AI and content derived from street-level photographs, Center for Spatial Studies, UC Santa Barbara, http://dx.doi.org/10.25436/E2ZW27 10.31223/X5HQ1P
  28. Kim, H. and Lee, S., 2024, POI GPT: Extracting POI Information from Social Media Text Data, The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 48, 113-118. 10.5194/isprs-archives-XLVIII-4-W10-2024-113-2024
  29. Mai, G., Cundy, C., Choi, K., Hu, Y., Lao, N., and Ermon, S., 2022, Towards a foundation model for geospatial artificial intelligence, in Proceedings of the 30th International Conference on Advances in Geographic Information Systems, 1-4. 10.1145/3557915.3561043 PMC9912268
  30. Milusheva, S., Marty, R., Bedoya, G., Williams, S., Resor, E., and Legovini, A., 2021, Applying machine learning and geolocation techniques to social media data (Twitter) to develop a resource for urban planning, PLoS ONE, 16(2), e0244317. https://doi.org/10.1371/journal.pone.0244317 10.1371/journal.pone.0244317 33534801 PMC7857609
  31. Moncla, L., 2024, Evaluation of Transformer Models (from BERT to GPT) for Geographic Information Recognition, Thematic Semester Digital Humanities and Artificial intelligence-Final Conference. CNRS AISSAI, Dec 2024, Paris, France.
  32. Purves, R.S., Clough, P., Jones, C.B., Hall, M.H., and Murdock, V., 2018, Geographic information retrieval: Progress and challenges in spatial search of text, Foundations and Trends® in Information Retrieval, 12(2-3), 164-318. 10.1561/1500000034
  33. Sui, H., Wang, J., Zhang, X., Ning, H., Wang, W., and Hu, L., 2025, RB-TRNet: a regularity-guided and boundary-aware architecture for toponym recognition from Chinese text, Geo-spatial Information Science, 1-15. https://doi.org/10.1080/10095020.2024.2440079. 10.1080/10095020.2024.2440079
  34. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L., and Polosukhin, I., 2017, Attention is all you need, in Guyon, I., Luxburg, U.V., Bengio, S., Wallach, H., Fergus, R., Vishwanathan, S., and Garnett, R. (eds.), 31st Conference on Neural Information Processing Systems (NIPS). Advances in Neural Information Processing Systems, 30, 6000-6010.
  35. Yin, Z., Li, D., and Goldberg, D.W., 2023, Is ChatGPT a game changer for geocoding-a benchmark for geocoding address parsing techniques, In Proceedings of the 2nd ACM SIGSPATIAL International Workshop on Searching and Mining Large Collections of Geospatial Data. 1-8. 10.1145/3615890.3628538
  36. Zhang, Y., Chen, Z., Zheng, X., Chen, N., and Wang, Y., 2021, Extracting the location of flooding events in urban systems and analyzing the semantic risk using social sensing data, Journal of Hydrology, 603(4), 127053. https://doi.org/10.1016/j.jhydrol.2021.127053 10.1016/j.jhydrol.2021.127053
Information
  • Publisher :The Korean Association of Regional Geographers
  • Publisher(Ko) :한국지역지리학회
  • Journal Title :REGION AND GEOGRAPHY
  • Journal Title(Ko) :지역과 지리
  • Volume : 31
  • No :2
  • Pages :424-443
  • DOI :https://doi.org/10.26863/JKARG.2025.5.31.2.424
Journal Informaiton REGION AND GEOGRAPHY REGION AND GEOGRAPHY
Journal Informaiton Journal Informaiton - close