|
| ||||
|
|
|||
| ||||
|
MKLXD081.zip (84.5 KB), Download : 94 | |||
| ||||
|
[LXDIC] mklxdic 0.81 Indexed LXDIC 사전생성기 | |||
| ||||
|
2006.5.24 추가 수정 - 인덱스생성부에 일부 버그 수정 2006.03.20 추가 수정사항 - LXDIC 0.81 사전을 생성할 경우도 사용할 수 있으며 필요에 따라 조합/KS로 변환하면 가능합니다 2006.03.07 mklxdic 0.80은 Indexed LXDIC의 사전을 만드는 프로그램입니다. 사전데이터 병합,분할 등의 전처리기와 실제 사전파일 인덱스 생성프로그램으로 구성되어 있습니다 윈도우용의 깔끔한 인터페이스를 제공하지는 않지만, 유닉스와 같은 작은 툴로 분리함으로써 유연하게 데이터를 처리하는 면도 있습니다^^ 대부분이 펄로 작성되어 필요시 간단하게 수정하여 사용도 가능합니다 Indexed LXDIC의 데이터 형태는 다음과 같습니다. 1. Indexed LXDIC 사전 형태 - 사전파일을 분리하지 않으며 사전파일은 .DIC 인덱스 파일은 .IDX가 되어야 합니다.(예:elite.dic / elite.idx) - 구분자(SEPARATOR)는 ' /// ' 입니다. - 개행자(ENTER_CH)는 명확하고 정규식에도 깔끔하게 잡히는 <br> 입니다. - 한 단어가 20480byte를 넘을 경우는 아래의 SPLIT 절차를 이용합니다. 수가 적으면 에디터를 이용하여 수동으로 할 수도 있고, 자동화된 전처리 스크립트(d3spit.pl)를 이용할 수도 있습니다. ---- 시작 ---- COMMNICATION /// 설명<br>설명<br> COME /// 설명<br>설명<br>설명<br> <-- 한 줄에 20KB가 넘으면 짤림 COME#1 /// 설명<br>설명<br> <-- 표제어#1로 분리 COME#2 /// 설명<br>설명<br> ---- 끝 ---- 2. MKLXDIC 프로그램 구성 Indexed LXDIC는 한글표제어를 영문으로 변환하지 않으므로 CASE를 구분하지 않는 것만 있습니다. - LXDICIDX.EXE : 인덱스 생성 실행파일 - d2mergen.pl : 동일 단어 MERGE 전처리 스크립트(CASE무시 버전) - d3split.pl : 대량데이터 분리 전처리 스크립트 - d8conv_s.pl : 구분자(SEPARATOR) 치환 스크립트(예 : " " -> " /// ") - d8conv_e.pl : 개행자(ENTER_CH) 치환 스크립트(예 : "\t" -> " /// ") - d9chk.pl : 단어 길이 체크 스크립트 - 나머지는 컴파일에 필요한 파일 혹은 유닉스에서 사용하는 스크립트 입니다. 3.LXDIC 사전 생성 절차 일반적으로 4단계를 거치게 되어있으나, 어떤 사전의 경우 전치리 필요없는 경우도 있습니다. * 유닉스형태로 전환 > 소트 및 머지 > 긴단어 처리 > 인덱스 생성 1) Raw 데이터 확인 및 유닉스 형태로 저장 - 울트라데이터 등을 이용하여 Raw데이터의 구분자,개행자를 확인하고, 유닉스 형태로 저장합니다. 2) Raw 데이터 Merge 전처리 - 동일표제어에 대한 병합이 필요할 경우 수행합니다. - CASE구분없이 정렬을 먼저해야 합니다. 한글표제어의 경우 KS형태로 되어있는 것이 정렬이 잘 되는 것 같습니다. - D2MERGEN.PL스크립트를 이용합니다. - Merge는 기본적으로 "숫자,공백,()" 등을 제거한 표제어를 바로 위와 비교하여 같은 경우 합치는 구조입니다. 예) close 1, close(2) -> 두 단어를 합친다 01획,02획 -> 두 단어를 합친다(같은 ghlr이므로) -> 원하지 않는 경우이므로, 이 부분만 제외>Merge>재추가 등으로 작업합니다. - 전처리 스크립트 수행(d2mergec.pl) . CASE무시 : perl d2mergen.pl [input file] [output file] ex) 유닉스,리눅스,윈도우의 예 $ cat elite.dic | sort -f > elite1.dic (위의 명령은 유닉스 상에서의 명령이므로, 윈도우에서 수행시 텍스트 Sorting을 지원하는 프로그램을 사용해야함) D:\> perl d2mergen.pl elite1.dic elite2.dic 3) Raw 데이터 중 20480byte 이상단어 전처리 - 한 줄의 20480byte 이상 단어의 분할이 필요할 경우 분할을 한다. 대개는 몇 단어 안되므로 수동으로 에디터에서 처리해도 된다. - 대상단어 확인 : d9chk.pl [대상파일] [Byte] - 자동분할 수행 : d3split.pl [input file] [output file] ex) 유닉스,리눅스,윈도우의 예 D:\> perl d9chk.pl elite2.dic 20480 5478 line : exceed 20480 bytes(come) . . . D:\> perl d3split.pl elite2.dic elite3.dic 4) LXDICIDX.EXE로 사전의 인덱스 생성 - 한글 사전일 경우 인덱스 생성전 조합/KS 변환을 수행 완료함 - 전처리가 완료된 파일을 이용하여 LXDIC 사전을 생성한다. - DOS용 프로그램이므로 파일명을 도스형태로 한다. - 인덱스 및 사전파일의 확장자는 각 .DIC .IDX로 고정되어 있습니다. ex) 도스창에서의 예 D:\> LXDICIDX.EXE n elite.dic elite.idx D:\> LXDICIDX.EXE c kk.dic kk.idx (영문 표제어:n옵션, 한글표제어:c옵션 사용) 인덱스는 각 표제어의 최초 3바이트를 저장합니다. 4바이트도 고려하였으나, 인덱스가 적어도 20배 정도 커져서 인덱스 검색시간이 늘어나서 3바이트가 가장 적당한 것 같군요. 좋은 하루 되세요. |
|
||
|
||
|
||
|
# 대소문자구분(한글 표제어) 머지가 없던데 그 부분은 어떻게 해야하는지요? 빠진 듯 해서 이전 버젼을 가져오긴 했는데... # LXDICIDX 을 어느 과정에서 어떻게 써야하는지 아직 헷갈립니다. mklxdic 으로 사전.dic 들을 만들어 놓은 다음에 index 파일을 만든다고 생각하기엔 뭔가 안 맞는 듯 하고, 그렇다고 소스 파일에 대해 직접 실행을 하니 본문 설명과는 다른 안내를 해서(C/N 옵션 등) 어찌할 지를 모르겠습니다. ^^;; # LX 게시판에서 "jam3.dat => LXDIC 0.80용(Indexed 사전용)" 이라고 하시니 hanviewd080 에선 dat 파일 형식을 쓰는가? 사전 만들기 프로그램을 보면 전혀 dat 이라는 확장자로 만들 것 같지는 않은데 라는 의문과 저 jam3.dat 을 어떻게 hanviewd080 에서 불러서 읽을 수 있을까 하는 궁금증만 더 해 갑니다. ^^ |
||
|
||
|
||
|
||
|
||
|
바쁘게 작성하다보니 틀린부분이 있었습니다. 1.대소문자구분(한글 표제어)머지 -> 한글표제어를 영문으로 변환하지 않으므로 구분안하시고 머지하셔야 합니다. 2.LXDICIDX은 모든 전처리가 끝난 가장 마지막에 합니다. 설명중 오류가 있어 수정했습니다. 좋은 하루 되세요. |
||
|
||
|
||
|
||
|
||
|
정리를 해보면 #1) 원본텍스트를 사전형식에 맞게 수정후 소트하고........ 1.txt #2) 머지되어서는 안 되는 부분을 따로 빼두고..................2.txt #3) 머지를 수행하고...................................................3.txt #4) 빼놓은 부분을 원래 소트 순서에 맞게 삽입해주고.......4.txt #5) 스필트를 수행하고.................................................5.txt #6) 조합형으로 변환 ....................................................6.txt 일반적인 순서가 될 듯 한데 lxdicidx 로 사전을 만들어줄 때 이 6.txt 를 어떻게 지정해줘야 되나요? 예시처럼 "LXDICIDX.EXE c kk.dic kk.idx" 이면 원본 txt 를 지정해주는 부분이 없고. 압축파일에 포합된 idx.bat를 열어보면 "LXDICIDX %1 %2.DIC %2.IDX"라고 되어있는데 그러면 n/c 옵션을 주는 부분이 없어 실행이 안 되구요. 아직은 손에 안 익었네요. ^^; |
||
|
||
|
||
|
||
|
||
|
아. 지금은 사전파일에 따른 인덱스를 만들게 되는데, 그렇다면 이미 만들어진 .dic 과 .idx 에 대해서 이름을 바꿀 수 없게 되나요? 설정창에선 사전마다 폴더경로까지 지시하게 되는 걸 보면, dic 과 idx 를 생성할 때 공통된 이름을 쓰는 게 아닐까 싶은데 설명을 보면 사전명을 입력하게 되어있네요. 구버젼에 있던 *.dic 파일을 만들어주는 mklxdic 이 없고 lxdicidx 만 있어서 lxdicidx 만 실행시켜주면 사전.dic 과 사전.idx 의 두 파일이 생성되는 것인지, 아니면 mklxdic 으로 *.dic 을 생성한 다음에 각각의 dic 에 대해서 lxdicidx 을 실행시켜줘야 하는지 (idx.bat 이 *.dic 에 대해 일괄적으로 인덱스를 만들어주는 배치파일 같기도 하고) 헷갈립니다. 그렇다면 위 순서에서 #7) mklxdic 으로 *.dic 파일을 생성하고 #8) 해당 사전 폴더에 가서 lxdicidx(idx.bat 배치파일) 를 실행시켜줘야 하나요? |
||
|
||
|
||
|
||
|
||
|
elite.dic라는 파일은 별도로 생성된 파일이 아니고, 위에서 본다면 6.txt 파일입니다. 1. 조합형까지 변환된 파일이 6.txt라면 확장자를 aaa.dic 등으로 바꾸어 주셔야 합니다. 2. LXDICIDX.EXE N aaa.dic aaa.idx 로 하면 완성입니다.(mklxdic는 전혀 사용할 필요가 없습니다) 그리고 idx.bat는 처음에 테스트 할 때 잠깐 만든 것인데 그냥 무시해 주세요. ^^ 위의 문법이 맞습니다. 대부분은 영문/한글표제어를 막론하고 N 옵션이 타당할 것 같습니다. 왜냐하면 "까다 /// ---" "가다 /// ---" 등으로 데이터가 써지므로 특별히 구별할 필요가 없습니다. 일괄 스크립트를 만드셔도 C 옵션 스크립트를 필요없을 것 같습니다. 조만간 조합/완성 둘 다되는 버전도 올리려고 합니다. 좋은 하루 되세요. |
||
|
||
|
||
|
||
|
||
| 감사합니다. ^^ | ||
|
||
|
||
|
||
|
||
|
검색 속도가 비교가 안 될 정도로 빨라진 듯 합니다. 같은 사전은 아니고 용량이 작기는 하지만 16M 사전을 배속개조에서 찾으니 2~3초 정도 걸리네요. 데이타 파일과 인덱스 파일 두 개로 되어있으니 관리하기도 편하고, 수정할 부분이 있어도 데이타 파일을 그냥 편집기로 열어서 수정하기도 쉽구요. 퍼펙트합니다. ^^ |
||
|
||
|
||
|
||
|
||
|
아 조합형 한글표제어 사전을 만들 경우 'C' 옵션을 사용해야 하는군요. 조합코드 중 일부가 127 미만인 코드가 있어서 'N'옵션을 주면 인덱스 생성이 잘 안됩니다. KS형은 괜찮은 것 같습니다. 따라서 aww님과 같이 1. 영문표제어 LXDICIDX.EXE N aaa.dic aaa.idx 2. 한글표제어 LXDICIDX.EXE C aaa.dic aaa.idx 로 하는 것이 실수가 없을 것 같습니다. ^^ 좋은 하루 되세요. |
||
|
||
|
|
|
|
|
|
|
| Copyright 1999-2024 Zeroboard / skin by zero |