JP2017117048A - 制御プログラム、制御装置、および制御方法 - Google Patents
制御プログラム、制御装置、および制御方法 Download PDFInfo
- Publication number
- JP2017117048A JP2017117048A JP2015249469A JP2015249469A JP2017117048A JP 2017117048 A JP2017117048 A JP 2017117048A JP 2015249469 A JP2015249469 A JP 2015249469A JP 2015249469 A JP2015249469 A JP 2015249469A JP 2017117048 A JP2017117048 A JP 2017117048A
- Authority
- JP
- Japan
- Prior art keywords
- task
- size
- time
- area
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Memory System (AREA)
Abstract
【解決手段】制御装置101は、実行装置102から、実行装置102のメモリが有する記憶領域から割り当てられた、処理用領域mpのサイズおよび転送用領域mtのサイズを取得する。次に、図1Bの(2)で示すように、制御装置101は、実行時間Ta、Tbを算出し、実行時間Tbから実行時間Taを減じた時間rtを算出する。時間rtは、メモリの割り当て変更にかかる時間を考慮した場合における、使用量uに基づき転送用領域mtのサイズを変更した場合にタスク111を繰り返し実行する、すなわち、データ処理の実行の際にかかる時間が短縮する時間である。そして、図1Bの(3)で示すように、制御装置101は、時間rtに基づいて、メモリの割り当てを変更するか否かを判断する。
【選択図】図1B
Description
(参考文献1:ビッグデータ時代の機械学習アルゴリズム:オンライン学習、[平成27年9月24日検索]、http://www.nttdata.com/jp/ja/insights/trend_keyword/2014110601.html)
(参考文献2:クラシックな機械学習の入門 7. オンライン学習、[平成27年9月24日検索]、http://www.slideshare.net/hirsoshnakagawa3/ss−32274089)
⇔短縮時間=T1×n−(T1+T2×(n−1))
⇔短縮時間=T1×(n−1)−T2×(n−1)
⇔短縮時間=(T1−T2)×(n−1)
図3は、マスタマシン201のハードウェア構成例を示す説明図である。図3において、マスタマシン201は、CPU301と、ROM(Read−Only Memory)302と、RAM(Random Access Memory)303と、を含む。また、マスタマシン201は、ディスクドライブ304およびディスク305と、通信インターフェース306と、を含む。また、CPU301〜ディスクドライブ304、通信インターフェース306はバス307によってそれぞれ接続される。
図4は、マスタマシン201の機能構成例を示すブロック図である。マスタマシン201は、制御部400を有する。制御部400は、取得部401と、判定部402と、算出部403と、判断部404と、割り当て変更部405とを含む。制御部400は、記憶装置に記憶されたプログラムをCPU301が実行することにより、各部の機能を実現する。記憶装置とは、具体的には、例えば、図3に示したROM302、RAM303、ディスク305などである。また、各部の処理結果は、CPU301のレジスタや、CPU301のキャッシュメモリ、RAM303等に格納される。
次に、第1の実施例として単一マシンがデータ処理を行う場合について、図5、図6を用いて説明する。
次に、単一マシンにおける実行時間Ta、Tbの算出例について説明する。まず、実行時間Taの算出例について示す。マスタマシン201は、実行時間Taを算出するため、下記(sa1)式に従って、データ処理におけるステージ2以降の1つのタスク111にかかる時間T2を算出する。
⇔(T1−T2)×(n−1)−(Ts+Tm+Tr)≧0
次に、第2の実施例として複数マシンが協働してデータ処理を行う場合について、図7〜図9を用いて説明する。ここで、説明の簡略化のため、スレーブマシン202のそれぞれの上で、1つのJVMが動作されるものとする。実際には、スレーブマシン202のそれぞれの上で、複数のJVMが動作されてもよい。複数のJVMが動作される場合には、例えば、スレーブマシン202のCPUの各コア上で、JVMが動作するようにしてもよい。
次に、複数マシンにおける実行時間Ta、Tbの算出例について説明する。まず、実行時間Taの算出例について示す。マスタマシン201は、実行時間Taを算出するため、下記(ma1)式に従って、データ処理におけるステージ2以降の1つのタスク111にかかる時間T2を算出する。
メモリが有する記憶領域から割り当てられた、タスクを繰り返し実行する際に前記タスクによって用いられる処理用領域のサイズおよび前記タスクの実行結果を転送する転送用領域のサイズを取得し、
前記タスクを実行した際に使用された前記タスクが用いた前記処理用領域の使用量と、取得した前記処理用領域のサイズおよび前記転送用領域のサイズとに基づいて、前記使用量に基づき前記転送用領域のサイズを変更した場合に前記タスクを繰り返し実行する際にかかる時間が短縮する短縮時間を算出し、
算出した前記短縮時間と、前記メモリの割り当て変更にかかる時間とに基づいて、前記メモリの割り当てを変更するか否かを判断する、
処理を実行させることを特徴とする制御プログラム。
前記タスクの実行履歴に基づいて、前記タスクの実行中に前記メモリが有する記憶領域とは異なる他の記憶領域に前記タスクの実行結果を書き出したか否かを判定する、処理を実行させ、
前記算出する処理は、
前記タスクの実行結果を前記他の記憶領域に書き出したと判定した場合、前記使用量と、取得した前記処理用領域のサイズと前記転送用領域のサイズとに基づいて、前記使用量に基づき前記転送用領域のサイズを変更した場合に前記タスクを繰り返し実行する際にかかる時間が短縮する短縮時間を算出する、
ことを特徴とする付記1に記載の制御プログラム。
前記タスクを実行した際にかかった時間に基づいて、前記サイズを変更しない場合の前記タスクを繰り返し実行する際にかかる第1の時間を算出するとともに、前記タスクを実行した際にかかった時間と、前記使用量と、前記メモリの割り当て変更にかかる時間と、取得した前記処理用領域のサイズおよび前記転送用領域のサイズとに基づいて、前記使用量に基づき前記転送用領域のサイズを変更した場合の前記タスクを繰り返し実行する際にかかる第2の時間を算出し、
前記判断する処理は、
算出した前記第1の時間から前記第2の時間を減ずることにより得られる時間に基づいて、前記メモリの割り当てを変更するか否かを判断する、
ことを特徴とする付記2に記載の制御プログラム。
ことを特徴とする付記2または3に記載の制御プログラム。
前記複数のコンピュータのうちのいずれかのコンピュータから、当該処理用領域のサイズおよび当該転送用領域のサイズを取得し、
前記判定する処理は、
前記各々のコンピュータの前記タスクの実行履歴に基づいて、前記複数のコンピュータのうちのいずれかのコンピュータが前記タスクの実行中に当該いずれかのコンピュータが有するメモリが有する記憶領域とは異なる他の記憶領域に前記タスクの実行結果を書き出したか否かを判定し、
前記算出する処理は、
当該いずれかのコンピュータが前記タスクの実行結果を当該他の記憶領域に書き出したと判定した場合、前記タスクを実行した際に使用された前記タスクが用いた当該処理用領域の使用量と、取得した当該処理用領域のサイズおよび当該転送用領域のサイズとに基づいて、前記複数のコンピュータが前記タスクを繰り返し実行する際にかかる時間が短縮する短縮時間を算出し、
前記判断する処理は、
算出した前記短縮時間と、前記メモリの割り当て変更にかかる時間とに基づいて、前記メモリの割り当てを変更するか否かを判断する、
ことを特徴とする付記4に記載の制御プログラム。
前記タスクを実行した際にかかった時間に基づいて、前記サイズを変更しない場合の前記タスクを繰り返し実行する際にかかる第1の時間を算出するとともに、前記タスクを実行した際にかかった時間と、前記使用量と、取得した前記処理用領域のサイズおよび前記転送用領域のサイズとに基づいて、前記使用量に基づき前記転送用領域のサイズを変更した場合の前記タスクを繰り返し実行する際にかかる第3の時間を算出し、
前記判断する処理は、
前記第1の時間から前記第3の時間を減じた時間と、前記メモリの割り当て変更にかかる時間との比較結果に基づいて、前記メモリの割り当てを変更するか否かを判断する、
ことを特徴とする付記1〜5のいずれか一つに記載の制御プログラム。
前記タスクを実行した際に使用された前記タスクが用いた前記処理用領域の使用量と、取得した前記処理用領域のサイズおよび前記転送用領域のサイズとに基づいて、前記使用量に基づき前記転送用領域のサイズを変更した場合に前記タスクを繰り返し実行する際にかかる時間が短縮する短縮時間を算出し、
算出した前記短縮時間と、前記メモリの割り当て変更にかかる時間とに基づいて、前記メモリの割り当てを変更するか否かを判断する、
制御部を有することを特徴とする制御装置。
メモリが有する記憶領域から割り当てられた、タスクを繰り返し実行する際に前記タスクによって用いられる処理用領域のサイズおよび前記タスクの実行結果を転送する転送用領域のサイズを取得し、
前記タスクを実行した際に使用された前記タスクが用いた前記処理用領域の使用量と、取得した前記処理用領域のサイズおよび前記転送用領域のサイズとに基づいて、前記使用量に基づき前記転送用領域のサイズを変更した場合に前記タスクを繰り返し実行する際にかかる時間が短縮する短縮時間を算出し、
算出した前記短縮時間と、前記メモリの割り当て変更にかかる時間とに基づいて、前記メモリの割り当てを変更するか否かを判断する、
処理を実行することを特徴とする制御方法。
mt 転送用領域
u 使用量
T1、T2 実行時間
101 制御装置
102 実行装置
111 タスク
201 マスタマシン
202−1〜m スレーブマシン
400 制御部
401 取得部
402 判定部
403 算出部
404 判断部
405 割り当て変更部
Claims (7)
- コンピュータに、
メモリが有する記憶領域から割り当てられた、タスクを繰り返し実行する際に前記タスクによって用いられる処理用領域のサイズおよび前記タスクの実行結果を転送する転送用領域のサイズを取得し、
前記タスクを実行した際に使用された前記タスクが用いた前記処理用領域の使用量と、取得した前記処理用領域のサイズおよび前記転送用領域のサイズとに基づいて、前記使用量に基づき前記転送用領域のサイズを変更した場合に前記タスクを繰り返し実行する際にかかる時間が短縮する短縮時間を算出し、
算出した前記短縮時間と、前記メモリの割り当て変更にかかる時間とに基づいて、前記メモリの割り当てを変更するか否かを判断する、
処理を実行させることを特徴とする制御プログラム。 - 前記コンピュータに、
前記タスクの実行履歴に基づいて、前記タスクの実行中に前記メモリが有する記憶領域とは異なる他の記憶領域に前記タスクの実行結果を書き出したか否かを判定する、処理を実行させ、
前記算出する処理は、
前記タスクの実行結果を前記他の記憶領域に書き出したと判定した場合、前記使用量と、取得した前記処理用領域のサイズと前記転送用領域のサイズとに基づいて、前記使用量に基づき前記転送用領域のサイズを変更した場合に前記タスクを繰り返し実行する際にかかる時間が短縮する短縮時間を算出する、
ことを特徴とする請求項1に記載の制御プログラム。 - 前記算出する処理は、
前記タスクを実行した際にかかった時間に基づいて、前記サイズを変更しない場合の前記タスクを繰り返し実行する際にかかる第1の時間を算出するとともに、前記タスクを実行した際にかかった時間と、前記使用量と、前記メモリの割り当て変更にかかる時間と、取得した前記処理用領域のサイズおよび前記転送用領域のサイズとに基づいて、前記使用量に基づき前記転送用領域のサイズを変更した場合の前記タスクを繰り返し実行する際にかかる第2の時間を算出し、
前記判断する処理は、
算出した前記第1の時間から前記第2の時間を減ずることにより得られる時間に基づいて、前記メモリの割り当てを変更するか否かを判断する、
ことを特徴とする請求項2に記載の制御プログラム。 - 前記コンピュータに接続する複数のコンピュータの各々のコンピュータが、前記各々のコンピュータのメモリが有する記憶領域のうちの前記各々のコンピュータの間で同一のサイズとなる処理用領域を用いて前記タスクを実行し、前記複数のコンピュータが前記タスクを完了させた後に当該記憶領域のうちの前記各々のコンピュータの間で同一のサイズとなる転送用領域を用いて前記各々のコンピュータの間で前記タスクの実行結果を転送し、転送された前記実行結果に基づいて前記タスクを再び実行する、
ことを特徴とする請求項2または3に記載の制御プログラム。 - 前記取得する処理は、
前記複数のコンピュータのうちのいずれかのコンピュータから、当該処理用領域のサイズおよび当該転送用領域のサイズを取得し、
前記判定する処理は、
前記各々のコンピュータの前記タスクの実行履歴に基づいて、前記複数のコンピュータのうちのいずれかのコンピュータが前記タスクの実行中に当該いずれかのコンピュータが有するメモリが有する記憶領域とは異なる他の記憶領域に前記タスクの実行結果を書き出したか否かを判定し、
前記算出する処理は、
当該いずれかのコンピュータが前記タスクの実行結果を当該他の記憶領域に書き出したと判定した場合、前記タスクを実行した際に使用された前記タスクが用いた当該処理用領域の使用量と、取得した当該処理用領域のサイズおよび当該転送用領域のサイズとに基づいて、前記複数のコンピュータが前記タスクを繰り返し実行する際にかかる時間が短縮する短縮時間を算出し、
前記判断する処理は、
算出した前記短縮時間と、前記メモリの割り当て変更にかかる時間とに基づいて、前記メモリの割り当てを変更するか否かを判断する、
ことを特徴とする請求項4に記載の制御プログラム。 - メモリが有する記憶領域から割り当てられた、タスクを繰り返し実行する際に前記タスクによって用いられる処理用領域のサイズおよび前記タスクの実行結果を転送する転送用領域のサイズを取得し、
前記タスクを実行した際に使用された前記タスクが用いた前記処理用領域の使用量と、取得した前記処理用領域のサイズおよび前記転送用領域のサイズとに基づいて、前記使用量に基づき前記転送用領域のサイズを変更した場合に前記タスクを繰り返し実行する際にかかる時間が短縮する短縮時間を算出し、
算出した前記短縮時間と、前記メモリの割り当て変更にかかる時間とに基づいて、前記メモリの割り当てを変更するか否かを判断する、
制御部を有することを特徴とする制御装置。 - コンピュータが、
メモリが有する記憶領域から割り当てられた、タスクを繰り返し実行する際に前記タスクによって用いられる処理用領域のサイズおよび前記タスクの実行結果を転送する転送用領域のサイズを取得し、
前記タスクを実行した際に使用された前記タスクが用いた前記処理用領域の使用量と、取得した前記処理用領域のサイズおよび前記転送用領域のサイズとに基づいて、前記使用量に基づき前記転送用領域のサイズを変更した場合に前記タスクを繰り返し実行する際にかかる時間が短縮する短縮時間を算出し、
算出した前記短縮時間と、前記メモリの割り当て変更にかかる時間とに基づいて、前記メモリの割り当てを変更するか否かを判断する、
処理を実行することを特徴とする制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015249469A JP6485343B2 (ja) | 2015-12-22 | 2015-12-22 | 制御プログラム、制御装置、および制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015249469A JP6485343B2 (ja) | 2015-12-22 | 2015-12-22 | 制御プログラム、制御装置、および制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017117048A true JP2017117048A (ja) | 2017-06-29 |
| JP6485343B2 JP6485343B2 (ja) | 2019-03-20 |
Family
ID=59234870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015249469A Expired - Fee Related JP6485343B2 (ja) | 2015-12-22 | 2015-12-22 | 制御プログラム、制御装置、および制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6485343B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023038074A1 (ja) * | 2021-09-13 | 2023-03-16 | 株式会社島津製作所 | 細胞画像の学習時におけるメモリ容量判定システムおよび細胞画像の学習時におけるメモリ容量判定方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008132924A1 (ja) * | 2007-04-13 | 2008-11-06 | Nec Corporation | 仮想計算機システムおよびその最適化方法 |
| JP2015212855A (ja) * | 2014-05-01 | 2015-11-26 | ウイングアーク1st株式会社 | インメモリ管理システムおよびインメモリ管理用プログラム |
-
2015
- 2015-12-22 JP JP2015249469A patent/JP6485343B2/ja not_active Expired - Fee Related
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008132924A1 (ja) * | 2007-04-13 | 2008-11-06 | Nec Corporation | 仮想計算機システムおよびその最適化方法 |
| JP2015212855A (ja) * | 2014-05-01 | 2015-11-26 | ウイングアーク1st株式会社 | インメモリ管理システムおよびインメモリ管理用プログラム |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023038074A1 (ja) * | 2021-09-13 | 2023-03-16 | 株式会社島津製作所 | 細胞画像の学習時におけるメモリ容量判定システムおよび細胞画像の学習時におけるメモリ容量判定方法 |
| JP7673813B2 (ja) | 2021-09-13 | 2025-05-09 | 株式会社島津製作所 | 細胞画像の学習時におけるメモリ容量判定システムおよび細胞画像の学習時におけるメモリ容量判定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6485343B2 (ja) | 2019-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8499010B2 (en) | Garbage collection in a multiple virtual machine environment | |
| US8443178B2 (en) | Operating system image shrinking apparatus and method and computer readable tangible medium storing a program for operating system image shrinking | |
| US20180285470A1 (en) | A Mobile Web Cache Optimization Method Based on HTML5 Application Caching | |
| EP2804099B1 (en) | Apparatus and method managing power based on data | |
| US9547520B1 (en) | Virtual machine load balancing | |
| CN112906825A (zh) | 实现机器学习模型的分布式训练的方法和计算节点 | |
| WO2019215795A1 (ja) | 情報処理装置、チューニング方法およびチューニングプログラム | |
| US9288109B2 (en) | Enabling cluster scaling | |
| JP5671050B2 (ja) | ランダムアクセスメモリの動的管理 | |
| JP5321748B2 (ja) | マルチコアプロセッサシステム、スレッド制御方法、およびスレッド制御プログラム | |
| US11163594B2 (en) | Rescheduling JIT compilation based on jobs of parallel distributed computing framework | |
| Xu et al. | Pie: Pooling cpu memory for llm inference | |
| JP6485343B2 (ja) | 制御プログラム、制御装置、および制御方法 | |
| JP5780296B2 (ja) | スレッド処理方法、およびスレッド処理システム | |
| JP5687603B2 (ja) | プログラム変換装置、プログラム変換方法、および変換プログラム | |
| JP5737298B2 (ja) | スケジューリング方法およびスケジューリングシステム | |
| JPWO2010109751A1 (ja) | コンパイルシステム、コンパイル方法およびコンパイルプログラム | |
| JP2016062311A (ja) | 更新装置及び情報処理方法 | |
| US10318422B2 (en) | Computer-readable recording medium storing information processing program, information processing apparatus, and information processing method | |
| CN114706828A (zh) | 一种文件加载方法、计算设备及存储介质 | |
| Ren et al. | Efficient shuffle management for DAG computing frameworks based on the FRQ model | |
| JP6524733B2 (ja) | 並列演算装置、並列演算システム、およびジョブ制御プログラム | |
| JP4668562B2 (ja) | メモリマネジメントプログラムおよびメモリマネジメント方法 | |
| CN119809910B (zh) | 用于模型训练的显存控制方法、装置、设备以及存储介质 | |
| JP6163795B2 (ja) | 情報処理装置、装置評価システム、装置評価方法およびコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190204 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6485343 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |