交通大学资讯科学研究所.ppt

《交通大学资讯科学研究所.ppt》由会员分享，可在线阅读，更多相关《交通大学资讯科学研究所.ppt（110页珍藏版）》请在得力文库 - 分享文档赚钱的网站上搜索。

1、數位化圖書館現況與發展柯皓仁交通大學圖書館副教授兼數位圖書資訊組組長clavenlib.nctu.edu.tw1大綱數位化圖書館簡介數位圖書館計劃個人化數位服務個人化圖書資訊環境資料探勘與個人化、群體化數位服務2數位化圖書館簡介3數位圖書館定義 Technical View4What is A Digital Library?(I)Storage資料保存容易,不佔空間檢索功能強大便利流通StorageStorageWhat is A Digital Library?(II)以數位形式收集、保存、組織資訊，並透過通訊網路以容易使用的方法提供使用者作資料之搜尋、擷取、處理大量資料的保存快速方便的檢

2、索遠地處理資料權限管制What is A Digital Library?(III)The creation of digital information source and the movement of that information across global networks Characterized as:A collection of distributed autonomous sites(servers)that work together to give the consumer the appearance of a single cohesive collectio

3、nIn practiceEach site will most likely store a large amount of information in a wide variety of formats on a wide variety of storage media7What is A Digital Library?(IV)http:/sunsite.berkeley.edu/ARL/definition.htmlThe digital library is not a single entity;The digital library requires technology to

4、 link the resources of many;The linkages between the many digital libraries and information services are transparent to the end users;Universal access to digital libraries and information services is a goal;Digital library collections are not limited to document surrogates:they extend to digital art

5、ifacts that cannot be represented or distributed in printed formats.8What is A Digital Library?(V)一種分散式的技術環境，可大幅降低個人或機構在資訊創造、散佈、操縱、儲存、整合和再利用上的障礙一種讓特定讀者群藉由一致的方法來使用龐大且具有組織的資訊和知識寶庫的系統一種整合了計算、儲存和通訊等方面的軟硬體服務環境，用以重現、模擬和延伸傳統圖書館所提供的以紙本或其他方法的各種服務一群獨立發展的元件(Component)，這些元件必須彼此溝通、配合，才能達成使用者的需求9數位圖書館定義 Library V

6、iew10數位化圖書館的定義數位化圖書館乃是擁有相關資源(如軟硬體設備、網路、專業人士等)的機構，其任務在對數位形式的館藏進行挑選、組織、提供使用、解譯、傳播、保持完整性、長期保存等工作，並使這些數位形態的館藏為特定讀者群快速且經濟地運用數位化圖書館不會僅是一套單一且完整的數位系統，允許使用者快速地從任何地點地點取得所有學科領域的所有資訊。相反地，數位化圖書館比較可能是異質系統與異質資源的組合、為特定的讀者群服務、為特殊的需求而建立。數位化圖書館亦將無限期地包含紙本式的館藏數位化圖書館的相關名詞電子圖書館(Electronic Library)、無牆圖書館(Library without Wa

7、lls)、虛擬圖書館(Virtual Library)11傳統圖書館與數位化圖書館圖書館:以科學方法採訪、整理、保存印刷與非印刷資料，並據以提供讀者服務收藏與保存組織和呈現存取與檢索分析、綜合與傳播數位化圖書館嘗試運用電腦與網路科技，協助館員完成上述工作12電子(數位化)圖書館的定義數位化圖書館是結合數位化資料、檔案、典藏、資訊、知識、服務以及作業的集合體e-Library=Electronic Data/File/Archive/Information/Knowledge+Automated/Electronic Service+Automated/Electronic Operation包

8、含電子與非電子館藏強調運用電腦和網路技術於圖書館業務和服務13e-Library的元素Technology(Based on Library Automation System)以人性化為基礎以人性化為基礎e-Operatione-Content+non-e Contente-ServicesKnowledge14e-Content and e-Operation學研相關電子資源的引進e-Journals,e-Books,e-Maps特藏的電子化教師著作碩博士論文讀書會教師講義台南小吃台灣古蹟畢業光碟電子化業務(技術服務)提升館員工作效率與品質業務與決策參考的依據Example轉錄編目(Cop

9、y Cataloging)EDI熱門書流通政策複本查驗與採購15e-Service 的趨勢運用電腦與網路科技來從事圖書館讀者服務協助讀者獲取資訊、運用資訊，從而產生新的知識電子化服務的趨勢個人化量身定做的服務(Customization)有效果的服務(Effective)有效率的服務(Efficiency)群體化由具有相同興趣、專長的個體彼此激發靈感、分享心得和知識User Cluster/Community,Sharability私密性(Privacy)16結合個人化與群體化的電子化服務Library AutomationDigital LibraryLocalSystemQuery Rou

10、ting/Information Indexing/Filtering MechanismBorrow HistoryUser InterestsQuery HistoryMajor FieldsControlledSharability(群體化群體化)User Profile個人化個人化新書通報新書通報個人通報個人通報演講通知演講通知Integrated User Interface17數位圖書館計畫18相關計畫US Digital Library Initiatives(http:/www.dli2.nsf.gov)Library of Congress(http:/lcweb.loc.g

11、ov)NASA(http:/ww.nasa.gov)Project Open Book-Yale University(www.library.yale.edu/preservation/pobweb.htm)UK Electronic Libraries Program(eLib)http:/www.ukoln.ac.uk/services/elib/國科會數位博物館專案國家典藏計畫19美國數位圖書館先導計畫Digital Library Initiative Phase I美國NSF、DARPA、NASA 合資贊助(24.3M)為提供資訊系統與服務給各界使用者，使其能取得分散不同地區且一致

12、性的資訊目標透過通訊網路大幅提昇蒐集、儲存、組織數位資訊的方法，使其便於搜尋、存取及處理將基礎科學與科技革新建立起更完善的結合以四年的時間(1994-1998)協助六所大學進行數位圖書館先導計畫http:/www.dli2.nsf.gov/dlione/20美國數位圖書館先導計畫加州大學柏克萊分校環境規劃與多媒體資訊系統http:/elib.cs.berkeley.edu/加州大學聖芭芭拉分校亞歷山卓計畫：地理資訊系統http:/alexandria.sdc.ucsb.edu/卡內基麥隆大學數位影像圖書館http:/www.informedia.cs.cmu.edu/21美國數位圖書館先導計畫

13、伊利諾大學厄巴納香檳分校統合科學文獻資料庫http:/dli.grainger.uiuc.edu/密西根大學智慧型網路資訊搜尋者http:/www.si.umich.edu/UMDL/史丹佛大學各類數位圖書館網路服務之整合機制http:/walrus.stanford.edu/diglib/22DLI-Phase IUC Berkeley Digital Library ProjectWork-centered Digital Information ServicesPrimary testbed database contains environmental informationImage

14、 content query(Xerox PARC)Techniques for database extraction Multivalent documents(MVD)Natural language processing(NLP)Automatic categorizationhttp:/elib.cs.berkeley.edu/23DLI-Phase IUC Santa Barbara-Alexandria ProjectSpatially-referenced Map Information(GIS)Testbed database consists map,aerial phot

15、ographs,atlases,gazetteers,and other spatially indexed informationSpatial indexing and retrieval Rapid response to image data queriesImage processing using featuresRelated to a distributed digital library for geographically reference informationhttp:/alexandria.sdc.ucsb.edu24DLI-Phase IThe Carnegie

16、Mellon Univ.:InformediaFully automated information extractionTestbed database consists of 1000 hours of digital video from archives of public television station Creating and searching this interactive on-line digital video libraryImage analysis,Speech recognition,Face recognition,Natural language un

17、derstandinghttp:/www.informedia.cs.cmu.edu/25DLI-Phase IUniversity of Michigan Digital LibraryIntelligent Agents for Information LocationTestbed database contains earth and space science multi-media informationScalabilityusing agents to help unify diverse collections and locate informationEducationi

18、nquiry-based educationhttp:/www.si.umich.edu/UMDL/26DLI-Phase IThe Illinois Digital Library Project Developing the information infrastructure to effectively search technical documents on the InternetBuilding testbed centered around journals and magazines in the engineering and science literatureDeve

19、loping widely usable Web technology and softwareDeveloping semantic search technology27DLI-Phase IStanford University:InfoBusInteroperation among Heterogeneous ServicesA small testbed contains computer science literature Investigating different database infrastructures for DL support primarity focus

20、ing on CORBA(Common Object Request broker Architecture)Investigating different network infrastructures for DLInvestigating a WWW annotation service which allows“permanent”annotation of Web pages without modification to the originalhttp:/walrus.stanford.edu/diglib/28DLI-Phase IIGovernment AgenciesNat

21、ional Science Foundation(NSF)Defense Advanced Research Projects Agency(DARPA)National Library of Medicine(NLM)Library of Congress(LOC)National Endowment for the Humanities(NEH)National Aeronautics&Space Administration(NASA)Federal Bureau of Investigation(FBI)In partnership with:Institute of Museum a

22、nd Library Services(IMLS)Smithsonian Institution(SI)National Archives and Records Administration(NARA)29DLI-Phase IIPlans to:Selectively build on and extend research and testbed activities in promising digital libraries areas;Accelerate development,management and accessibility of digital content and

23、 collections;Create new capabilities and opportunities for digital libraries to serve existing and new user communities,including all levels of education;Encourage the study of interactions between humans and digital libraries in various social and organizational contexts 30DLI-Phase IIPeriod:1998-2

24、002Widen the efforts in digital libraries,particularly into the medical and humanities disciplines3 major components:Research,Testbeds,Applications ComponentEvolving Undergraduate Emphasis componentInternational Digital Libraries Collaborative Research component31DLI-Phase IIRelated URLshttp:/www.dl

25、ib.org/dlib/july99/07lesk.htmlhttp:/www.dlib.org/dlib/july99/07griffin.htmlhttp:/www.dli2.nsf.govhttp:/www.nsf.gov/pubs/1998/nsf9863/nsf9863.htmhttp:/www.nsf.gov/pubs/1998/nsf9863/nsf9863.htm32Other Major US DL Research Activities Library of Congress(http:/lcweb.loc.gov)National Aeronautics and Spac

26、e Administration,NASA(http:/ww.nasa.gov)Defense Advanced Research Projects Agency(DARPA)D-Lib Program(http:/www.dlib.org)Project Open Book-Yale University(www.library.yale.edu/preservation/pobweb.htm)33eLib phase I&IIElectronic publishing Electronic journals the Internet plays havoc with business mo

27、dels Pre-prints&gray literature electronic publishing is not free Quality assurance quality is not cheap Digitization and images digitization is expensive;any particular item is often hard to justify;critical mass is important in both the size of the image base and the size of the marketsLearning an

28、d teaching On demand publishing&time is against us,and copyright clearance takes electronic reserve too long;OCR(proof-reading)costs too much to justify for single use;images of texts cost too much to down-load and print Resources access Access to network resources quality costs,but users demand qua

29、lity;business models are not obvious;and producing and relying on software in the same program is risky(stupid?)Document delivery new services are slow to establish;new systems are hard to produce to service(not pilot)quality;supply services need comprehensive catalogues /systems(to find the stuff b

30、efore buying it)Supporting studies human systems resist change Training and awareness people,not technology,represent the important issue34eLib Phase IIIIt aims to bring many separate developments together4 componentsHybrid libraries Large scale resource discovery,or clumps Preservation Turning earl

31、y projects into service35Significant Development of eLibQuiet authenticationRights or terms and conditions metadataIntegrity and authenticity of electronic documents to replace the authority of the published workUseful copyright management systems Simple information tradingMore sophisticated electro

32、nic commerce 36Significant Development of eLibScalability issuesMetadata inter-operabilityDaughter of Z39.50 Machine-independent,object-oriented packaging of digital library material Information longevity issues-digital preservation37數位圖書館研究方向Collection DevelopmentInteroperability FrameworkStandards

33、Resource Discovery:MetadataInformation Organization:Classification and IndexingInformation RetrievalUser InterfacesAccess and File ManagementUser StudiesEvaluationLegal IssuesSocial IssuesPreservationImplications for Library Managers38個人化數位服務 個人化圖書資訊環境39前言建置個人化圖書資訊環境的背景一般數位圖書館無法提供快速、有效率的資訊服務操作界面統一、失

34、去彈性搜尋結果繁多資源眾多、不易尋找個人化數位圖書資訊服務可讓資訊的傳遞更加靈活個人化的使用者界面(Customizable User Interface)提高檢索結果的正確性(Effective Search)確保使用者的隱私權(Privacy)40前言(續)動機將個人化資訊服務技術應用在數位圖書館中動態偵測使用者興趣使用資訊過濾技術提升搜尋效能個人化圖書資訊環境的目標個人化使用環境個人化搜尋服務：動態偵測使用者的興趣，幫助使用者找尋資料資訊選粹服務：依使用者興趣，通知使用者有興趣的新進資訊及事項41相關研究個人化資訊服務技術個人化使用界面(Customizable User Interfa

35、ce)個人興趣記錄(User Profile)資訊選粹服務(Selective Dissemination of Information)個人化檢索(Personal Search)42相關研究(續)個人化使用界面(Customizable User Interface)使用者可以依自己的喜好來排列組合他的使用環境自訂桌面、更改顏色、選擇服務搜尋網站MyYahoo!、MyKimo 個人報紙CNN Custom News、LA Times Custom Services數位圖書館MyLibrary、MyLibraryNCSU、MyGateway43相關研究(續)個人興趣記錄由讀者人工填寫個人興趣

36、記錄(User Profile)方法興趣關鍵字 MyLibraryNCSU 興趣類別 MyYahoo!優點：直覺(因為是由使用者輸入興趣資料)缺點使用者會以過於普遍的字來描述興趣，對興趣的描述不夠精確不能期望使用者都是勤勞、有足夠耐心，且總是能正確輸入關鍵字詞44相關研究(續)個人興趣記錄運用電腦科技推導產生以瀏覽過網頁之關鍵字為興趣 Tu99 Crabtree 98不精確，因為網頁太過龐雜以電子郵寄通信記錄的關鍵字為興趣 Crabtree 98由通信記錄抽取關鍵字，再依固定時間間隔將關鍵字加以分群(Clustering)以電子交易行為推導興趣 Amazon以讀者借閱歷史紀錄推導興趣 鄭愁予、

37、席慕容、楊牧新詩45相關研究(續)資訊選粹服務根據個人興趣記錄，依使用者興趣過濾出使用者有興趣的新進資訊。資訊過濾內容式資訊過濾技術(Content-based Information Filtering)以文件的內容做為過濾的對象，使用者在興趣檔中只要紀錄有興趣的關鍵字，系統便會將新進資訊和興趣檔做比對協力式資訊過濾技術(Collaborative Information Filtering)個人新聞服務：CNN Custom News、LA Times Custom News Services、MyYahoo!個人新書通報服務MyLibraryNCSU46相關研究(續)個人化檢索依個別讀者

38、的需求幫助使用者尋找所需資訊 以資訊過濾技術過濾檢索結果 47各系統比較48動態學習使用者興趣透過檢索策略來解讀使用者興趣 個人檢索策略的頻率 各檢索策略的相關性 時間對興趣的影響 利用個人興趣關連圖來求得使用者興趣資訊選粹個人化檢索49個人興趣關連圖藉由關連圖，我們可以很清楚地看出使用者所有興趣間的關連性若某一使用者之關連圖中有兩個端點以邊線相連，則對該使用者而言代表其曾經同時使用過兩個端點所代表的檢索語。可計算各檢索語(Query Term)之間關係，求出權重(Weight)、判斷使用者的興趣。詩詞數位圖書館關鍵字詞檢索語間的權重古典50時間對興趣的影響時間對興趣的影響呈半衰期(half-

39、life)遞減方法將檢索歷程固定時間間隔劃分成 n 個區段第k區段對使用者整體興趣影響率為 範例n=5(k1,k2,k3,k4,k5)=(16/31,8/31,4/31,2/31,1/31)Hlk:第k時區的時間係數 51關鍵字權重計算考慮時間與個人關鍵字的使用頻率Wi：檢索語 i 的權重。TFi,k：在第k個時間區段中，使用者使用檢索語 i 的頻率n,k：在第k個時間區段中，使用者使用的檢索語總數Hlk：在第k時區中時間對興趣的影響係數 頻率頻率總數總數時間時間係數係數52檢索策略關鍵字使用者興趣關鍵字詞（範例）以2星期為一個週期，求“Digital Library”於每星期結束時權重的變化

40、53關鍵字關連權重計算目的:計算兩兩關鍵字詞的關連程度方法Wij：對個別使用者而言iANDj這個檢索語的權重：在第k個時間區段中，使用者使用i檢索語時亦會使用j檢索語的權重EFijj：在第k個時間區段中，使用者的檢索策略中含有iANDj這個檢索策略的頻率Hlk：在第k時區中時間對興趣的影響係數 i 出現的頻率出現的頻率j 出現的頻率出現的頻率i AND j 出現的頻率出現的頻率時間時間係數係數Digital LibraryInterfaceIEEE0.24740.082554個人檢索策略關連(範例)以2星期為一個週期，求“Digital Library”以及”Interface”每星期結束時兩

41、者關係的權重變化55新進資訊選粹方法利用個人興趣關連圖之關鍵字權重計算方法選出前幾個關鍵字詞作為使用者興趣關鍵字詞比對使用者興趣關鍵字詞與新進資訊若相符則該資訊為使用者有興趣的新進資訊ItemInputSDIProfilesMail FilesPKRG(Keyword Extraction)QueryStrategies56檢索結果選粹方法根據個人興趣關連圖找出和當次檢索策略有關的使用者興趣關鍵字詞根據檢索結果資料所含使用者興趣關鍵字詞多寡與權重排列檢索結果QueryPersonalSearchProfilesPersonalSearch ResultPKRG(Keyword Relation

42、ship Extraction)QueryStrategiesDigitalLibrary57PIENCTU交大個人化數位圖書資訊環境目的針對使用者需求給予個別的使用環境動態偵測讀者興趣，協助讀者尋找交大圖書館館藏提供資訊選粹服務，定期通知讀者有興趣的新進資訊58PIENCTU系統簡介中西文新書整合目錄個人化使用者界面個人環境設定個人化桌面個人服務設定個人興趣設定個人化搜尋引擎個人書籤個人新書選粹服務個人通告管理者界面59中西文新書整合目錄交通大學圖書館現行分類狀況中文：中國圖書分類法西文：美國國會圖書分類法交大圖書館現有新書目錄的缺點書少而類多類別無法中西文對照中西文類別對照簡表以中國圖書分

43、類法為基礎二階層的中西文類別對照簡表9個類別(main classes)、52個簡表(outline of the classification tables)以讀者角度切入製作而成60中西文新書整合目錄（續）中西文新書整合目錄利用中西文類別對照簡表 將新書重新分類貢獻可提高讀者瀏覽圖書館新進館藏的效率可知道圖書館當月新書在各類別的分佈情形以及中西文新書的比重61個人環境設定個人化桌面讀者能動態改變使用界面PIENCTU提供的可個人化類別包括：圖書館服務、圖書館導覽、館藏查詢、資料庫查詢、新書通告、借閱狀況、檢索界面、系統公告、圖書館連結等個人服務設定啟動/取消服務:個人新書目錄，藝文活動通告

44、，圖書館公告個人興趣設定彌補系統判斷使用者興趣的不足讀者自行選填興趣選擇系統關鍵字詞 設定個人興趣關鍵字詞 設定個人興趣類別62個人化搜尋引擎PIENCTU提供兩種個人化搜尋引擎服務個人館藏查詢直接抓取交通大學館藏查詢系統的檢索結果，以獲得所需資訊個人新書查詢系統定期從圖書館館藏系統中抓取新進館藏存在PIENCTU的資料庫讀者查詢新書時，則從本地的資料庫中獲取所需資訊系統判斷的使用者檢索策略關連使用者自訂關鍵字使用者自選類別檢索結果第五級第四級第級63個人化搜尋引擎(範例)貝多芬貝多芬?123Profile小提琴 0.8交響樂 0.5鋼琴協奏曲莫札特912910083第五級第四級第級第一級第二

45、級第三級貝多芬:小提琴協奏曲/莫札特：第五號小提琴協奏曲CD/貝多芬,莫札特作曲,CD 910.8 4042 v.5 第四級快樂頌貝多芬合唱交響樂,席勒詩著,顧一樵譯,月韻,R 912.31 0044 第二級64個人化搜尋引擎(續)以“貝多芬”為索引點產生出來的檢索結果65個人書籤個人通告個人書籤個人興趣書籤可讓使用者紀錄有興趣書目的超連接、及使用者的註解。個人通告PIENCTU會個別通知和讀者有關的訊息，如圖書館公告、還書逾期通知等。66個人新書粹選服務定期比對圖書館新進書刊和使用者興趣是否相符系統判斷的使用者關鍵字使用者自訂關鍵字使用者自選類別67管理者界面 新增、刪除、修改PIENCTU

46、網站更改自動執行程式的相關設定發送圖書館通知68資料探勘與個人化、群體化數位服務69資料探勘資料探勘：從儲存於資料庫、資料倉儲或其他資訊儲存器的大量資料中發掘出我們感興趣的知識之處理過程尿布與啤酒70資料探勘程序LogicalDatabaseSelectedDataPreprocessedDataTransformedDataExtractedInformationAssimilatedKnowledgeAnalyzeandAssimilateSelectPreprocessTransformMine71相關規則探勘及有序性規則探勘Association rules and Sequentia

47、l patternsGiven two thresholds c and s we want to find rules XY with sup(xy)s and conf(xy)c in given database.Two Step of Mining Association Rules and Sequential PatternsFind the Large ItemsetsGenerate the desired rules.LargeItemsetsRulesandPatternsTransactionsSupportsConfidencec(1)(2)72動機與目的動機應用資訊科

48、技及企業化模式經營圖書館目的：利用資料探勘及統計技術，以達成：探索讀者社群關係 個人化及群體化服務吸引讀者到館借閱 個人化及群體化服務提昇館藏借閱率 個人化及群體化服務提昇讀者忠誠度 個人化及群體化服務協助館藏複本採訪政策 電子化業務促進館藏流通率電子化業務73Mining in LIBNCTU資料來源交通大學圖書館之書目、館藏及交易歷史資料資料選取書目、館藏資料：圖書405,785本，期刊：526,868本，可外借館藏不含複本282,250本交易資料：1998/1/1 至2000/8/31之交易歷史資料共441,688筆資料前置處理及轉換館藏借閱之共同性：每位讀者於一段時間內(如一學期或一學

49、年)所借閱及預約之書目為一筆交易館藏借閱之順序性：每位讀者借閱過之館藏所形成之序列為一筆交易74探索讀者社群關係館藏借閱之共同性興趣類似之讀者所借閱之館藏也很類似 館藏借閱之順序先借入門之館藏再借進階之館藏結合個人化服務75探索讀者社群關係(續)資料選取1999年之交易歷史資料。資料前置處理及轉換假設每位讀者在1999年所借過的書為一筆交易。交易筆數10,773筆。最小支持度0.15%，約為16筆。76探索讀者社群關係(續)館藏借閱之共同性：1999年書名借閱人數紅色警戒(下)=ThinRedLine紅色警戒(上)=ThinRedLine59BorlandC+使用手冊Appliednumeri

50、calanalysis31TheGodfathervideorecording=教父TheGodfatherPart2videorecording=教父第二集28TheEmpireStrikesBackvideorecording=帝國大反擊ReturnoftheJedivideorecording=絕地大反攻27StarWarsvideorecording=星際大戰TheEmpireStrikesBackvideorecording=帝國大反擊2677探索讀者社群關係(續)討論1999年一起借閱某二部影片之人數最多影片的數量比圖書少。影片通常分為上、下二集。最小支持度太大(大於0.2%)則無